scrapy--爬虫代码编写步骤

最近又要新写一个网站的爬虫，虽然写了好几个了，但每次写都要再来现看一遍资料，觉得还是有必要写一篇，记录一下。 一、编写步骤 1、新建工程目录 进入打算存储代码的目录中，命令行运行下列命令: scrapy startproject 目录或爬虫名称 2、用pycharm打开此目录，可看到如下目录结构 3、items.py文件中定义item，主要是网页中要提取的一个单位数据元中包含的字段。 4、新建一个

>>阅读原文<<