Python反爬虫机制

添加请求头User-Agent: 如果不添加请求头，网站会认为不是用浏览器操作，会进行反爬虫，添加请求头，网站会识别你是用哪个浏览器，不同的浏览器User-Agent不同 修改访问频率： 大多数情况下，我们遇到的是访问频率限制。如果你访问太快了，网站就会认为你不是一个人。这种情况下需要设定好频率的阈值，否则有可能误伤。 遇到这种网页，最直接的办法是限制访问时间 需要你限制不定的时间，不能用一个准确

>>阅读原文<<