利用redis的分布式爬虫

利用redis的分布式爬虫 redis是一个很是优秀的内存式key-value数据库，支持set、list等，并且在python上十分好用，提供的接口基本和python原生的同样。另外redis的各操做都具备原子性，所以用它来模拟缓存十分方便，甚至比直接写多线程都方便，由于不用考虑数据同步的问题。为了实际感觉一下，就在之前写的爬虫的基础上修修改改，写了这个分布式的爬虫。html 它由master.

>>阅读原文<<