scrapy+selenium爬去京东动态网页

使用scrapy爬取京东图书出现问题：京东中部分数据采用JS加载生成。 造成后果：scrapy爬下来的网页缺乏一些信息（需要加载JS才能生成）如图1 图1 京东商品的价格不在网页源代码中。 解决方法： 1. 使用scrapy-splash。scrapy-splash可以帮助scrapy加载动态网页，下载地址   github提供来下载的方法与安装指导   由于感觉麻烦，没有使用 2. 使用sele

>>阅读原文<<