初识反爬虫

网站反爬虫的目的和手段 １、通过User-Agent检验反爬 浏览器在发送请求的时候，会附带一部分浏览器及其当前系统环境的参数给服务器，服务器会通过User-Agent的值来区分不同的浏览器。 ２、通过访问频度反爬 ➢普通用户通过浏览器访问网站的速度相对爬虫而言要慢的多，所以不少网站会利用这一点对访问频度设定一个阈值，如果一个IP单位时间内访问频度超过了预设的阈值，将会对该IP做出访问限制。 ➢通

>>阅读原文<<