东方财经财富号爬虫流程(4) -- ip 代理池组件

组件 ip 代理组件作为一个单独的公共模块方便复用： ip 代理对象 将每一个 ip 代理抽象为一个类： ProxyPool 初始化 爬取 将 爬取 ip 的实现委托给 proxy_strategy （GetProxyStrategy 类的实例）。 爬取并且定期的健康检查 随机选取可用 ip GetProxyStrategy 真正解析网站获取 ip 的类。 如果我们买了自己的 ip 代理，可以替换

>>阅读原文<<