Spark学习笔记(21)动态Batch Size深入

本期内容: 1. 动态Batch Size深入 2. RateController解析 1. 动态Batch Size深入 Dynamic Batch Size的方法实际在Spark Streaming中还没实现。论文中的解决方案: Fixed-point Iteration。 论文中有个比较重要的图: 基本思想:按100ms的批次发数据给Controller,Controller起初直接转给Jo
相关文章
相关标签/搜索