Spark在携程的实践（一）
一、Spark在携程应用的现状 集群规模： 平均每天MR任务数：30W+ 开发平台： 调度系统运行的任务数：10W+ 每天运行任务实例数：23W+ ETL/计算任务：~58% 查询平台: adhoc查询：2W+ 支持Spark/Hive/Presto 二、Hive与Spark的区别 Hive： 优点：运行稳定，客户端内存消耗小。 存在问题：生成多个MapReduce作业；中间结果落地，IO开销
相关文章
- 1. Spark在携程的实践（一）
- 2. 张翼：Spark SQL在携程的实践经验分享！
- 3. 「案例」Kylin 在携程的实践（下）
- 4. 「案例」Kylin 在携程的实践（上）
- 5. DevSecOps在携程的最佳实践
- 6. 学习--携程AIOps在携程的探索与实践
- 7. Spark在美团的实践
- 8. 携程机票的ABTest实践
- 9. Alluxio在携程大数据平台的实践
- 10. 干货 | Node.js在携程的落地和最佳实践
- 更多相关文章...
- • Thymeleaf项目实践 - Thymeleaf 教程
- • 第一个MyBatis程序 - MyBatis教程
- • TiDB 在摩拜单车在线数据业务的应用和实践
- • Docker容器实战(一) - 封神Server端技术
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
