Scrapy基于scrapy_redis分布式爬虫的布隆去重

1.从网上下载一个别人写好的布隆去重py文件 百度网盘:https://pan.baidu.com/s/1KbK4WAWxAQnslIomAoQSiw 密码：gld0 2.如果要想指定项目启动布隆去重的话 找到环境下的路径E:\ENVS\JobDataScrapyEnv\Lib\site-packages文件夹,找到scrapy_redis,单独复制到需要布隆去重的项目中 在把下载好的布隆去重文件

>>阅读原文<<