Python3网络爬虫实战---1四、部署相关库的安装：Scrapyrt、Gerapy

上一篇文章： Python3网络爬虫实战---1三、部署相关库ScrapydClient、ScrapydAPI
下一篇文章： Python3网络爬虫实战---1五、爬虫基础：HTTP基本原理

Scrapyrt的安装

Scrapyrt 为 Scrapy 提供了一个调度的 HTTP 接口，有了它咱们不须要再执行 Scrapy 命令而是经过请求一个 HTTP 接口便可调度 Scrapy 任务，Scrapyrt 比 Scrapyd 轻量级，若是不须要分布式多任务的话能够简单使用 Scrapyrt 实现远程 Scrapy 任务的调度。

1. 相关连接

• GitHub：https://github.com/scrapinghu...
• 官方文档：http://scrapyrt.readthedocs.io

2. Pip安装

推荐使用 Pip 安装，命令以下：

pip3 install scrapyrt

命令执行完毕以后便可完成安装。

接下来在任意一个 Scrapy 项目中运行以下命令便可启动 HTTP 服务：

scrapyrt

运行以后会默认在 9080 端口上启动服务，相似的输出结果以下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

若是想更换运行端口能够使用 -p 参数，如：

scrapyrt -p 9081

这样就会在 9081 端口上运行了。

3. Docker安装

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上运行，且本地 Scrapy 项目的路径为 /home/quotesbot，能够使用以下命令运行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

这样一样能够在 9080 端口上监听指定的 Scrapy 项目。

Gerapy的安装

Gerapy 是一个 Scrapy 分布式管理模块，本节来介绍一下 Gerapy 的安装方式。

1. 相关连接

GitHub：https://github.com/Gerapy

2. Pip安装

推荐使用 Pip 安装，命令以下：

pip3 install gerapy

3. 测试安装

安装完成以后，能够在 Python 命令行下测试。

$ python3
>>> import gerapy

若是没有错误报出，则证实库已经安装好了。

上一篇文章： Python3网络爬虫实战---1三、部署相关库ScrapydClient、ScrapydAPI
下一篇文章： Python3网络爬虫实战---1五、爬虫基础：HTTP基本原理