爬虫进阶总结

知识树

主要内容

主要就是学习使用selenium模块的webdriver驱动无头浏览器，爬取动态页面的内容。webdriver的优势在于，可以模拟用户的输入和点击行为。学了chromedriver和phantonjs这两种无头浏览器。chromedriver比较方便观察爬虫的现象，因为本地电脑安装了谷歌浏览器，用webdriver调用chromedriver时，会呈现出GUI。