python scrapy 报错 DEBUG: Ignoring response 403

时间 2020-01-11

标签 python scrapy 报错 debug ignoring response 栏目 Python 繁體版

原文原文链接

解决方案：浏览器

防止反爬机制，假装user_agent scrapy

步骤：spa

(1). 打开默认浏览器blog

(2). F12 打开控制台->刷新页面 ->Network->请求头部找到 User-Agentit

(3). 在scrapy项目中找到settings.py的 USER_AGENT = ' ' （把注释去掉，加如下内容，依据本身浏览器而定）请求

User-Agent:im

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36项目

(4). 从新启动scrapy便可img