因为平时自己写爬虫的时候,都会统一加上我自己写的mysql存储中间件,useragent 中间件,还有xpath清洗中间件,
另外settings里面也会有很多统一的改动,
所以决定改一下scrapy的模板,这样子通过startproject 和 genspider 命令生成的文件,就直接附带了我的改动。
以下是更改的过程。
我这里展示更改project里面的模板, 这里我复制了一些常用的工具包,然后将文件拓展名改掉
注意这里文件的拓展名是 .py.tmpl,接下来我们还需要对这些文件进行改动,
更改这里的包名,$project_name:
例如 我们 scrapy startproject newproject
那么 $project_name 将来就会被替换为 newproject
同样的,如果又其他需要改动的地方,当作平时的py文件直接改动就好了
如果有的文件没有类似 newproject 的包名,就不需要改动,后缀名也不需要改为 .py.tmpl
例如我mysql种这个:
因为 MysqlHelper 文件中不存在类似 $project_name 需要被替换的名字,所以就不需要改文件拓展名了。
在 scrapy/commands文件夹中打开startproject文件
在文件中添加我们刚刚加入的文件