pyspider爬虫网页响应过慢，爬不到数据解决

对于pyspider 这个框架来讲优势就是简单、易上手。因此好好看官方文档能解决80%的问题。 最近须要训练数据，目标页面较多，通常的写爬虫担忧不能适应。就自学爬虫框架，为了尽快使用就从pyspider入手了。 期间遇到请求的网页数据加载过慢，老是爬到空数据… 看文档发现self.crawl()函数能够在回调以前，加载js:web self.crawl(url, fetch_type='js',

>>阅读原文<<