Python 用Redis简单实现分布式爬虫

Python 用Redis简单实现分布式爬虫 Redis一般被认为是一种持久化的存储器关键字-值型存储，能够用于几台机子之间的数据共享平台。python 链接数据库 注意：假设现有几台在同一局域网内的机器分别为Master和几个Slaver Master链接时host为localhost即本机的ipweb _db = redis.Reds(host='localhost', port=6379,

>>阅读原文<<