spark流式读取hdfs中数据

名词解释：shell spark streaming： 定义：一个对实时数据进行高容通量、容错处理的流式处理系统，能够对多种数据源进行Map、reduce和join等复杂操做，并将结果保存到外部文件系统、数据库活应用到实时仪表盘。 流式数据：像流水同样一点一点流过来流式数据被封装成二进制的流。 流式处理：一样像流水同样一点点处理。若是所有接受数据之后在处理的话会有很大延迟也会消耗大量内存。 计算流

>>阅读原文<<