爬虫HTTP代理异常处理方式

为什么要设置代理 代理分为用户代理use-agent和ip代理proxy，两者的区别在于user-agent更多在于本地用户服务管理来伪装自己，相当于人换了件衣服，而proxy代理更倾向于服务器访问，例如，A要访问B，但是不能直接访问B，就要通过proxyC来访问，相当于借刀杀人的作用。 一般来说，服务器会禁止同一用户或者同一ip在某个时段高频率访问网站，或者为了防止黑客攻击手段，都会对用户进行反

>>阅读原文<<