[scrapy + 数据库] 手工打造分布式爬虫，展现某社交平台个人社交网络

前言    如今微信、微博等社交平台每天都在产生大量的社交数据，如何找出个人在社交网络中处于那个节点，每个人的社交网络拓扑图是什么样子？今天就让我们用“scrapy + 数据库”的形式，打造一款分布式爬虫，快速获取某社交平台的社交网络信息，并通过可视化工具展示该社交网络。 可行性分析   分布式的理念在于将需要耗费大量计算能力的工作分配给多台机器协同运作，从而降低运算时间。对于分布式爬虫而言，要实

>>阅读原文<<