python3 分布式爬虫

转载与https://www.jianshu.com/p/ec3dfaec3c9b?utm_source=tuicool&utm_medium=referral 背景 部门（东方IC、图虫）业务驱动，需要搜集大量图片资源，做数据分析，以及正版图片维权。前期主要用node做爬虫(业务比较简单，对node比较熟悉)。随着业务需求的变化，大规模爬虫遇到各种问题。python爬虫具有先天优势，社区资源比较

>>阅读原文<<