scrapy 爬取简单网站数据示例

上一节介绍了scrapy的安装和创建一个scrapy项目，这一节介绍scrapy的使用，以爬取豆瓣电影排名为例，总结编写程序过程中遇到的问题和学到的东西。 首先创建好的scrapy项目结构图如下： 同之前创建好的scrapy项目有所不同的是，这里多了一个自己创建的debug_config.py文件，至于这个文件的作用，我在下面会讲到 settings.py 中配置请求头，在文件第43行，默认是注释

>>阅读原文<<