新手爬虫采集常遇到的墙问题

但凡多采集一些网站，多持续采集一段时间，就必定会被管理员发现，他们可能采起一系列的手段来阻止咱们的采集过程。主要表现就是访问不了了、访问几回就断了，而后手动访问，或者换个终端之后彻底没问题。html 面对这种状况，首先，咱们要明确如下几个问题：web 个人爬虫是否过于频繁访问，给对方服务器带来了不可承受的负担，影响了对方服务器的业务？ 个人爬虫是否在采集对方不对外公布的信息，致使触犯了对方的防护机

>>阅读原文<<