Spark-Streaming

SparkStreaming原理 客户端提交作业后启动Driver,Driver是spark作业的Master。 每个作业包含多个Executor,每个Executor以线程的方式运行task,Spark Streaming至少包含一个receiver task。 Receiver接收数据后生成Block,并把BlockId汇报给Driver,然后备份到另外一个Executor上。 Receive
相关文章
相关标签/搜索