Alluxio 在京东Ad Hoc平台的应用--对JDPresto的加速

京东adhoc平台自2017年开始使用alluxio,目前已部署超过500个物理节点,每天加载超过70T的数据,alluxio为adhoc平台部分Presto应用带来了10X的性能提升和稳定的亚秒级查询体验;基于alluxio实现独立的shuffle service服务,根据任务级别和任务类型(Spark,MR)决定shuffle数据存储等级(RAM,SSD,HDD) 张芒,京东大数据平台计算引擎
相关文章
相关标签/搜索