大规模并发采集——分布式爬虫

当爬取内容过多，须要多机合做的时候，就须要用到分布式系统，这节课给你们讲解一下分布式爬虫的实现。python 分布式系统 什么是分布式系统？ 分布式系统就是把一些计算机经过网络链接起来，而后协同工做git 协同工做须要解决两个问题：github 任务分解  把一个问题拆解成若干个独立任务，每一个任务在一台节点上运行，实现多任务的并发执行redis 节点通讯  节点之间互相通讯，须要设计特定的通讯协

>>阅读原文<<