基于网易云音乐的分布式爬虫实现

Prepare Python 版本 Python 3.6.5 依赖包 scrapy_redis redis mysql-python kafka-python hdfs 数据API接口 详见Github Implement 数据依赖关系 时序 　　上图详细说明了整个爬虫工程的前一半的数据抽取逻辑；关于用户类数据的抽取在实现逻辑上与上图基本一致。在用户相关数据的爬取上，实现了在尽可能多的爬取用户数据

>>阅读原文<<