window环境下安装配置scrapyd

本文争取用最简便的方法安装和配置scrapyed
默认已安装python,scrapy

一.安装scrapyd
1.win+r打开运行,输入cmd打开命令行工具输入pip3 install scrapyd。在这里插入图片描述
2.使用命令行工具输入pip3 instal scrapyd-client,这个挺关键的。在这里插入图片描述
3.输入命令行scrapyd再用浏览器打开127.0.0.1:6800,如果有下图显示,说明安装成功,注意:该scrapyd命令窗口需要一直留到结束。在这里插入图片描述
二.创建爬虫工程
1.找到这个爬虫目录pa,打开,按住shift+鼠标右键打开powershell,输入命令scarpyd,此时该爬虫目录会多一个dbs文件夹,用来存放爬虫项目的数据文件。在这里插入图片描述
2…先cd scrapy.exe的存放目录 ,然后 输入命令scrapy startproject (项目名称),我创建的项目名称为pa,此时该目录下会多出scrapy.cfg。在这里插入图片描述
三.配置爬虫
1.到python目录中进入Scripts,找到scrapyd-deploy,在windows这个文件不能直接运行,需要配置为其bat文件,创建一个新的txt文件,他的内容为
@echo off
“D:\python\python.exe” “D:\python\Scripts\scrapyd-deploy” %*
具体的文件路径需要自己更改。
2.打开爬虫项目目录中的scraoy.cfg文件,将url这行代码解除注释#,并且给设置你的部署名称。
在这里插入图片描述
3.在新的命令行工具中cd到爬虫工程自己的目录,输入scrapyd-deploy -l (小写的L)启动服务在这里插入图片描述
4.打包配置文件前,执行一个命令 ,scrapy list ,这个命令执行说明可以进行打包了。在这里插入图片描述
5.下载可以开始打包scrapy项目到scrapyd了:
执行打包命令:scrapyd-deploy 部署名称 -p 项目名称
如图表示成功打包
在这里插入图片描述
6.现在就已经成功了,可以去127.0.0.1:6800 查看运行状态。

注意开始时候验证scrapyd安装成功的命令窗口,即输入命令scrapyd的命令窗口要一直留着,否则会出现连接不上127.0.0.1:6800的情况!!!