scrapy设置headers，cookies

scrapy中有三种方式设置headers，cookies setting中设置cookie middlewares中设置cookie sipder文件中重写start_requests方法 这里记录第三种，重写start_requests方法，这里以豆瓣网为例 一、设置请求头headers 在start_request中新增 headers = { 'User-Agent':'Mozil

>>阅读原文<<