Spark进阶(二)

Spark Streamweb 将Stream数据分红小的时间片断,以相似batch批处理的方式来处理这一部分数据,兼容实时数据处理的逻辑和算法和兼容批量处理。算法 Spark MLlib数据库 SparkSQL缓存 1.MapReduce计算过程大量的磁盘落地消耗了大量的io,下降运行效率。此时shark应运而生,同期的还有Impala和Drill。架构 shark(在hive的基础上,把HQL
相关文章
相关标签/搜索