Apache Spark在海致大数据平台中的优化实践

本文来自由海致网络技术公司翟士丹分享。专一于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。
海致全称海致网络技术公司，成立于2013年7月。做为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。

大数据数据平台的核心组成部分

• 多数据整合
• 自助式数据准备
• 可视化探索式分析
• 安全快捷的分发机制
• 覆盖全面的应用场景

产品架构以下：

平台的总体技术架构以下：

多数据整合，造成统一的数据口径：

灵活易用高性能的可视化探索式分析：

大数据平台的技术挑战与建设难点

数据同步：

OLAP任意多维分析引擎实现：

数据建模系统实现：

机器学习实现：

性能及稳定性优化：

大数据平台私有化部署及智能监控

声明：本号全部文章除特殊注明，都为原创，公众号读者拥有优先阅读权，未经做者本人容许不得转载，不然追究侵权责任。

关注个人公众号，后台回复【JAVAPDF】获取200页面试题！
5万人关注的大数据成神之路，不来了解一下吗？
5万人关注的大数据成神之路，真的不来了解一下吗？
5万人关注的大数据成神之路，肯定真的不来了解一下吗？

欢迎您关注《大数据成神之路》