关于爬虫时url去重的初步探讨（上）

博客第十五天 测试内容：自己写init_add_request(spider,url:str)方法实现url去重（本次仅测试） 工具：Python3.6，Pycharm，scrapy， 工程内容：      1. 准备： # spider.py import scrapy from scrapy.http import Request class DuanDian(scrapy.Spider)

>>阅读原文<<