爬虫代理池

目的:mysql """sql 1. 爬虫每次发起请求须要从代理池中提取一个可用代理, 若是提取的代理不可用, 从代理池中删除数据库 2. 当代理池中的代理少于某个程度, 须要从新爬取一部分代理, 添加到代理池中scrapy """测试 用到的一些包(看我的需求)fetch import requestsspa # 链接数据库代理 import pymysqlorm # 第三方包的随机请求头xml

>>阅读原文<<