[Python爬虫]Scrapy配合Selenium和PhantomJS爬取动态网页

Python世界中Scrapy一直是爬虫的一个较为成熟的解决方案，目前javascript在网页中应用愈来愈普遍，愈来愈多的网站选择使用javascript动态的生成网页的内容，使得不少纯html的爬虫解决方案失效。针对这种动态网站的爬取，目前也有不少解决方案。其中Selenium+PhantomJS是较为简单和稳定的一种。javascript Selenium是一个网页的自动化测试工具，其自己是

>>阅读原文<<