爬虫知识5：常见反爬虫机制——User-Agent和代理IP设置

常见反爬机制： 1、拒绝非浏览器的访问：可以检查请求头header中的User-agent、referer、cookies： User-agent用来表示请求者的信息，可以搜集User-agent并保存，爬取过程中动态更换在User-agent，伪装成浏览器的形式 referer可以使用浏览器分析提取referer信息 需要登录才能操作的页面可以保留cookies，带着cookies信息登录 2、

>>阅读原文<<