Scrapy笔记 4 ---- Scrapy + selenium

在第一个笔记中，我们在 https://news.qq.com/ 中看到了，进入浏览器中，按住F12 之后出现的网页结构和网页源码并不一致，这样会导致我们的网页内容无法抓取。原因是我们看到的网页是由JS 动态生成，解决这个的方法有很多，其中谷歌公司的 selenium 可以很轻松的帮助我们获取到想要的数据。这里我们重点说一下，如何把selenium 嵌入 scrapy , 从而使我们的功能更加强大

>>阅读原文<<