爬虫之scrapy-splash——scrapy+js渲染容器

简介 scrapy做为爬虫利器，我就很少说了。 常见的结合js的爬虫，通常用来扒取网页动态内容，就是经过操做js获取渲染的内容。 如今大部分网站都是ajax+json获取数据的方式，因此，你们习惯性一上来爬虫，第一件事就是抓包，而后找规律抓数据。固然有时候，接口加密算法很复杂，短期内很难破解，经过js抓取内容相对容易，这时候结合js的爬虫就能比较直接地达到目的，固然数据抓取效率不如直接抓接口来得快

>>阅读原文<<