scrapy设置cookie

0x01 背景 今天用scrapy框架爬一个房产信息网站，在解析主页面后得到的url须要再次解析，但奇怪的是scrapy请求该url后会出现重定向。好比我想请求解析北京的房产信息，但当我请求北京房产信息后网站会自动重定向到xx城市，由于我用的ip归属在xx城市，以下： 网上找了不少禁止scrapy重定向的解决办法如在request的时候设置参数don‘t_filter啦，在setings文件添加禁

>>阅读原文<<