Python Scrapy

安装： pip install scrapy 安装后：用scrapy -h来检测安装效果。 爬虫框架结构！ 5+2结构：5个主要模块，两个中间键。 SPI到ENG，获取下一个要爬取的网络请求。 就是一个URL。真实的。 然后，ENG将此请求转发给SCHED模块。负责对爬取请求调度。 ENG到DOWN，真实连接到互联网，进行爬。 再反过来走一次！再发送给ENG。 最后，ENG又会转发给SPI模块！

>>阅读原文<<