scrapy 更改模板

因为平时自己写爬虫的时候,都会统一加上我自己写的mysql存储中间件,useragent 中间件,还有xpath清洗中间件,

另外settings里面也会有很多统一的改动,

所以决定改一下scrapy的模板,这样子通过startproject 和 genspider 命令生成的文件,就直接附带了我的改动。

以下是更改的过程。

1. 更改模板中的文件

我这里展示更改project里面的模板, 这里我复制了一些常用的工具包,然后将文件拓展名改掉

注意这里文件的拓展名是 .py.tmpl,接下来我们还需要对这些文件进行改动,

更改这里的包名,$project_name:

例如 我们 scrapy startproject newproject

那么 $project_name 将来就会被替换为 newproject

同样的,如果又其他需要改动的地方,当作平时的py文件直接改动就好了

如果有的文件没有类似 newproject 的包名,就不需要改动,后缀名也不需要改为 .py.tmpl

例如我mysql种这个:

因为 MysqlHelper 文件中不存在类似 $project_name 需要被替换的名字,所以就不需要改文件拓展名了。

2. 修改配置文件 

在 scrapy/commands文件夹中打开startproject文件

在文件中添加我们刚刚加入的文件

3. 试试看