Python爬虫教程-34-分布式爬虫介绍
Python爬虫教程-34-分布式爬虫介绍
- 分布式爬虫在实际应用中还算是多的，本篇简单介绍一下分布式爬虫
什么是分布式爬虫
- 分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。单机爬虫就是只在一台计算机上的爬虫。
- 其实搜索引擎都是爬虫，负责从世界各地的网站上爬取内容，当你搜索关键词时就把相关的内容展现给你，只不过他们那都是灰常大的爬虫，爬的内容量也超乎想象，也就没法再用单机爬虫去实现，而是使用分布式了，一台服务器不行，我来1000台。我这么多分布在各地的服务器都是为了完成爬虫工做，彼此得通力协做才行啊，因而就有了分布式爬虫
- 单机爬虫的问题：
- 一台计算机的效率问题
- IO 的吞吐量，传输速率也有限
多爬虫问题html
- 多爬虫要实现数据共享
- 好比说一个爬取了某个网站，下载了哪些内容，其余爬虫要知道，以免重复爬取等不少问题，因此要实现数据共享
- 在空间上不一样的多台机器，能够成为分布式
- 多爬虫条件：
- 须要共享队列
- 去重，让多个爬虫不爬取其余爬虫爬取过的爬虫
- 理解分布式爬虫：
- 假设上万的 url 须要爬取，有 100 多个爬虫，分布在全国不一样的城市
- url 被分给不一样的爬虫，可是不一样爬虫的效率又是不同的，因此说共享队列，共享数据，让效率高的爬虫多去作任务，而不是等着效率低的爬虫
- Redis
- Redis 是彻底开源免费的，遵照BSD协议，是一个高性能的 key-value 数据库
- 内存数据库，数据存放在内存
- 同时能够落地保存到硬盘
- 能够去重
- 能够把 Redis 理解成一共 dict，set，list 的集合体
- Redis 能够对保存的内容进行生命周期
- Redis 教程：Redis 教程 - 菜鸟教程
- 多爬虫要实现数据共享
内容保存数据库python
- MongoDB，运行在内存，数据保存在硬盘
- MySQL
- 等等
安装 scrapy_redis
- 1.打开【cmd】
- 2.进入使用的 Anaconda 环境
- 3.使用 pip 安装
- 4.操做截图
分布式爬虫的结构
主从分布式爬虫
- 所谓主从模式，就是由一台服务器充当 master，若干台服务器充当 slave，master 负责管理全部链接上来的 slave，包括管理 slave 链接、任务调度与分发、结果回收并汇总等；每一个 slave 只须要从 master 那里领取任务并独自完成任务最后上传结果便可，期间不须要与其余 slave 进行交流。这种方式简单易于管理，可是很明显 master 须要与全部 slave 进行交流，那么 master 的性能就成了制约整个系统的瓶颈，特别是当链接上的slave数量庞大的时候，很容易致使整个爬虫系统性能降低
- 主从分布式爬虫结构图：
这是经典的主从分布式爬虫结构图，图中的控制节点ControlNode就是上面提到的master，爬虫节点SpiderNode就是上面提到的slave。下面这张图展现了爬虫节点slave的执行任务示意图 - 控制节点执行流程图：
- 这两张图很明了地介绍了整个爬虫框架，咱们在这里梳理一下：
- 1.整个分布式爬虫系统由两部分组成：master控制节点和slave爬虫节点
- 2.master控制节点负责：slave节点任务调度、url管理、结果处理
- 3.slave爬虫节点负责：本节点爬虫调度、HTML下载管理、HTML内容解析管理
- 4.系统工做流程：master将任务（未爬取的url）分发下去，slave经过master的URL管理器领取任务（url）并独自完成对应任务（url）的HTML内容下载、内容解析，解析出来的内容包含目标数据和新的url，这个工做完成后slave将结果（目标数据+新url）提交给master的数据提取进程（属于master的结果处理），该进程完成两个任务：提取出新的url交于url管理器、提取目标数据交于数据存储进程，master的url管理进程收到url后进行验证（是否已爬取过）并处理（未爬取的添加进待爬url集合，爬过的添加进已爬url集合），而后slave循环从url管理器获取任务、执行任务、提交结果……
- 本篇就介绍到这里了