菜鸟写Python-Scrapy shell 带头部headers请求：使用scrapy shell 命令请求源代码（response）并写入本地文件

1.scrapy shell 命令请求网页：html scrapy shell "https://www.baidu.com"正则表达式 就会获得请求的网页源代码，咱们经过response.text能够获取请求以后的源代码，而后就能够经过正则匹配咱们想要的内容。shell 2.而后上面请求方法，对一些不作限制的网站请求时ok，可是就如以前所讲的，不少网站对没有设置请求头的请求都是禁止访问，因此咱们

>>阅读原文<<