crawler_爬虫代理方案

爬虫每每会遇到各类限制ip问题

 

 

 

理方案（爬虫）

IP代理软件

优点
标记: 是

自动切换IP

基本无开发成本
标记: 黄色, 考虑切换IP时 ，网络瞬时异常

IP池，由商家维护

劣势
标记: 非

部署

每一个节点都须要部署
节点数量超多时，也是一部分工做量
购买的软件，通常有限制同时在线数量， 5
可经过不一样费用套餐实现

ip碰撞

不一样的节点可能在同一时间会用到同一个ip，可经过调整切换代理ip频度减低碰撞重叠几率

购买IP代理池

优点
标记: 是

分发可控

稳定性相对较强

购买IP可能会更便宜
标记: ？

部署方便
标记: 节点数量多时，不用考虑ip代理 ，由调度分发

劣势
标记: 非

本身维护

代理ip失效

开发成本，调试周期长
标记: 红色

ip潜在不稳定风险

验证码人工打码备选方案

优点
标记: 是

解决防爬严格的网站

准确率高

劣势
标记: 非

人工维护成本

潜在验证码输入次数超限封杀