scrapy-redis断点续爬，持久化爬虫和url去重，爬取京东图书

scrapy scrapy框架是专门为python爬虫所设计的框架，它能够实现多线程爬虫，异步请求运行，虽然不用scrapy框架也能够实现多线程爬虫，可是功能很是的鸡肋，也比较麻烦，而scrapy就能够很简单的实现了多线程爬虫，还有许多强大的功能，不懂的也能够取scrapy中文网上面了解 https://yiyibooks.cn/zomin/Scrapy15/index.htmlhtml scra

>>阅读原文<<