scrapy中数据采集出现乱码问题（低级错误）

问题： 当使用scrapy进行数据采集时，前几个网站都可以正常采集，突然遇到一个网站不管如何改变数据的编解码格式都不管用。 原因： 很有可能是请求头设置错误。博主我就是在setting中设置了默认的请求头，导致数据解码错误。 解决办法： 删除setting中的默认请求头或者在当前的采集任务中设置特定的请求头。博主采用的是前者 正常结果如下： 完毕！

>>阅读原文<<