spark简介(一)

spark是一个用于大规模数据处理的统一计算引擎。适用于各类各样原先须要多种不一样的分布式平台处理的场景,包括批处理、迭代计算、交互式查询、流处理。经过统一的框架将各类处理流程整合到一块儿。python spark特性web 快速性 spark经过使用先进的DAG调度器、查询优化器和物理执行引擎,能够高性能地进行批量及流式处理。使用逻辑回归算法进行迭代计算,spark比hadoop速度快100多倍
相关文章
相关标签/搜索