为什么每一个爬虫工程师都应该学习 Kafka

这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。 一个简单的需求 假设我们需要写一个微博爬虫，老板给的需求如下： 开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了： 接下来开始做报警功能，逻辑也非常简单： 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓

>>阅读原文<<