Scrapy+PhantomJS+Selenium动态爬虫

Scrapy+PhantomJS+Selenium动态爬虫   很多网页具有动态加载的功能,简单的静态页面爬虫对它就无能为力了。这时候就需要PhantomJS+Selenium两大神器,再加上Scrapy爬虫框架,就可以拼凑成一个动态爬虫。 PhantomJS 简单点说PhantomJS就是一个没有界面的浏览器,提供了JavaScript接口。在Windows平台,下载好PhantomJS后,将p
相关文章
相关标签/搜索