scrapy 请求头中携带cookie

要爬取的网页数据只有在登陆之后才能获取，所以我从浏览器中copy了登录后的cookie到scrapy项目settings文件的请求头中，但是程序执行完之后发现并没有获取到数据，控制台打印出来的debug信息提示需要登录，也就是说我在请求头中添加的cookie并没有效果。后来在网上查了资料，发现如果要携带cookie的话是需要设置的，如下所示： 在settings文件第37行的地方，默认是注释掉的，

>>阅读原文<<