爬虫使用代理防封IP

在我们使用爬虫进行数据爬取的时候，爬着爬着就经常会遇到这种情况出现“HTTP Error 403: Forbidden ”的提示，这是啥意思呢？其实他是一种http状态码，表示你在请求一个资源文件但是nginx不允许你查看。它不属于技术上的错误，但是需要技术解决问题。 需要返回403状态码的是哪些场景？ 第一个场景特定的用户访问被禁止访问网站所有的内容，例如，某用户频繁的访问A网站，被A网站屏蔽

>>阅读原文<<