Python爬虫scrapy框架爬取动态网站——scrapy与selenium结合爬取数据

 scrapy框架只能爬取静态网站。如需爬取动态网站，须要结合着selenium进行js的渲染，才能获取到动态加载的数据。 如何经过selenium请求url，而再也不经过下载器Downloader去请求这个url? 方法：在request对象经过中间件的时候，在中间件内部开始使用selenium去请求url，而且会获得url对应的源码，而后再将   源 代码经过response对象返回，直接交给

>>阅读原文<<