python3 分布式爬虫

转载与https://www.jianshu.com/p/ec3dfaec3c9b?utm_source=tuicool&utm_medium=referral 背景 部门（东方IC、图虫）业务驱动，须要搜集大量图片资源，作数据分析，以及正版图片维权。前期主要用node作爬虫(业务比较简单，对node比较熟悉)。随着业务需求的变化，大规模爬虫遇到各类问题。python爬虫具备先天优点，社区资源比较

>>阅读原文<<