爬虫中如何强效防止ip被封问题？

在数据收集层面来讲，爬虫要想采集数据，基本前提要能突破网站的反爬虫机制，接着还能防止网站封IP，这样才可以高效的进行工作。爬虫中如何强效防止ip被封问题？ 多线程采集，采集数据，都想尽可能快的采集更多的数据，否则大量的工作还一条一条采集，太耗时间了。 比如，几秒采集一次，这样一分钟能够采集10次左右，一天能采集一万多的页面。如果是小型网站还好，但大型网站上千万的网页应该怎么办，根据这个速度采集需要

>>阅读原文<<