学习笔记 | python网络爬虫 反爬虫简介

01 反爬虫简介 网络爬虫的目的和手段 1. 通过User-Agent校验反爬 浏览器在发送请求的时候，会附带一部分浏览器及当前系统环境的参数给服务器，服务器会通过User-Agent的值来区分不同的浏览器。 2. 通过访问频率反爬 3. 通过验证码校验反爬 有部分网站不论访问频率如何，一定要来访者输入验证码才能继续操作。 例如，12306网站，不管是登陆还是购票，全部需要验证验证码，与访问频率无

>>阅读原文<<