在 QCon 北京 2019 大会上,赵云讲师作了《苏宁 OLAP 引擎发展之路》主题演讲,主要内容以下。微信
演讲简介:架构
对于海量大数据进行即时的多维分析,没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景,咱们结合各项大数据技术创建苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询,在建设过程当中,也遇到了各类各样的挑战。框架
如何将复杂业务场景抽象化,提供平台级能力支持,如何经过统一的 SQL 引擎来实现各类类型数据的统一查询;对于通用服务计算框架没法解决的问题,如何经过定制化实现来解决;对于通用查询引擎没法知足响应时间的场景,如何经过预计算方式来实现;如何经过 Cost 模型来对服务进行分级和隔离等等。本次深度揭秘苏宁建设 OLAP 引擎过程当中如何运用各项技术解决问题的方案,以及过程当中遇到的坑和优化方法。大数据
演讲大纲优化
一、苏宁 OLAP 引擎概况;ui
二、OLAP 引擎架构;3d
三、特定业务解决方案;cdn
四、技术挑战;开发
五、将来规划。it
讲师介绍:
赵云
苏宁科技集团 OLAP 平台负责人
现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着普遍使用经验和深入的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推动苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提高各项指标数据的开发时间,减小各项人力和硬件成本。
关注《大数据技术进阶》微信公众号,后台回复"qcon2019北京",下载QCon北京2019大会 所有演讲 PPT