爬虫初步六

Scrapy库的使用 1. 什么是scrapy框架？ 它是一个用的最多的一个爬虫框架，相当于一个爬虫模版，是爬虫代码的半成品。主要针对网站级的爬虫规模。具有可编写，可扩展的功能。 2. 框架的具体结构图 整个过程是这样的：spiders获取初始的url(程序员指定某个网站),产生requests。通过引擎放在scheduler上面。scheduler发现仅有一个url便立马通过引擎去downloa

>>阅读原文<<