免费代理池的搭建

在作爬虫的时候，因为高频访问，常常会出现IP被封禁的状况，由于服务器检测到某个IP在单位时间内访问次数超过某个阈值时，会认为是爬虫程序在访问，便直接拒绝服务。所以，通常的处理手段是咱们可使用代理，来假装IP，让服务器没法识别由咱们本机发起的请求。 网络上有大量免费且公开的代理能够供咱们使用，但这些单利并不能保证均可以使用，由于一样的代理可能被其余人拿来爬虫使用而遭到封禁，所以，在真正使用以前，咱们

>>阅读原文<<