分析scrapy爬虫请求过快导致网站429的解决办法

时间 2021-07-13

原文原文链接

在HTTP协议中，响应状态码 429 Too Many Requests 表示在一定的时间内用户发送了太多的请求，即超出了“频次限制”。在响应中，可以提供一个 Retry-After 首部来提示用户需要等待多长时间之后再发送新的请求。 HTTP/1.1 429 Too Many Requests Content-Type: text/html Retry-After: 3600 <html>