利用scrapy建立代理池

一开始爬取xicidaili，频率太快ip被禁了。。。，只能回家爬取。明天把爬取的ip存到redis里做持久化，并且爬取后自动测试代理评级。 proxypool.py # -*- coding: utf-8 -*- import scrapy from scrapy import Request,Spider from pyquery import PyQuery from ..items imp

>>阅读原文<<