网易云课堂学习-kafka streams架构

程序重启后才会从服务端拿offset,来决定从哪里消费。 客户端会维护一个partition_id和offset,以此知道下次从哪里开始拉取。 批处理计算: 会有一定的延时,只能查到昨天的数据 Spark和Flink既能做批处理,又能做流处理 pageCache:操作系统的内存 kafka写性能高的原因:1.用了pageCache 2.使用了顺序写 通过mapped memory file技术将数
相关文章
相关标签/搜索