Python3网络爬虫框架库scrapy

scrapy是一个爬虫框架，官方说明文件参考：https://doc.scrapy.org/en/master/topics/architecture.html 自己配置scrapy的用户会了解到scrapy是基于Twisted配置的，scrapy使用Twisted这个异步网络库来处理网络通讯。scrapy对同一域名允许最多8个并发下载，每2次下载之间没有延时，所以很容易被检测到遭封禁。scrap

>>阅读原文<<