聊聊流式批处理

要说流式微批处理,就不得不说一下TCP流。典型的tcp IO流模型有,bio,伪异步IO,NIO,AIO,Rector模型等。我们这里主要是说伪异步IO。 下面我们一步步将其改造成spark Streaming的 SocketStream。 在伪异步模式,我们是客户端通过TCP链接到服务端。这种在分布式模式下不可行,对于Spark Streaming的微批处理,我们根本不知道Receiver运行在
相关文章
相关标签/搜索