spark on yarn架构简介

spark自从问世以来就收到了广泛的关注,其热度一直居高不下。spark的出现,为实时数据的处理带来了极大的方便,相比Hadoop,spark在某些情况下处理数据的速度要快于Hadoop,其主要原因有以下两点: 1. spark中间的数据不落地,这是最主要的原因,中间的数据存放在内存中,这就极大的减少了磁盘的读取以及IO的操作,所以,这也是spark适合迭代式工作的原因。 2. spark中DAG
相关文章
相关标签/搜索