开启Scrapy项目之旅之：编写自动爬取网页的爬虫（当当为例）

1、创建一个爬虫项目 scrapy startproject autopjt 2、编写items.py文件 我们只关注商品名、商品价格、商品链接、评论数 3、编写好items.py文件后，还需要对爬取到的数据经进一步处理，比如存储到json文件中，于是此时编写pipelines.py文件实现。 4、settings的编写 a、打开settings.py文件进行pipelines部分相应设置 因为p

>>阅读原文<<