爬虫之代理池维护

一 准备工作 1 安装aiohttp (venv) E:\WebSpider>pip3 install aiohttp 2 安装flask (venv) E:\WebSpider>pip install flask 二 代理池的模块 1 存储模块：负载存储抓取下来的代理。存储模块使用Redis的有序集合，用来做代理的去重和状态标识，同时它也是中心模块和基础模块，将其他模块串联起来。 2 获取模块：

>>阅读原文<<