Spark 2.0 在作业（job）完成后花费很长时间结束

时间 2021-01-22

标签 # 大数据相关问题记录 spark hdfs hadoop odps 大数据栏目 Spark 繁體版

原文原文链接

1.现象在监控页面job运行完成了，但是程序还在运行，要等好久才能结束 2.原因： spark 2.0 在保存数据的时候会用 FileOutputCommitter ，问题就出在了 Hadoop 2.0 FileOutputCommitter 实现FileOutputCommitter 里面有两个值得注意的方法：commitTask 和 commitJob。在 Hadoop 2.x 的Fi

>>阅读原文<<

1. Vue+element 完成结束时间大于开始时间，开始时间小于结束时间
2. Spark Streaming 2.0 runDummySpark Job
3. tomcat启动时session ID创建花了很长时间
4. 一个很简单的验证码验证问题，花费了好长时间
5. python 修改scrapy结束时显示开始时间，结束时间，添加耗费时间
6. 解决Jenkins的job启动tomcat时会在job结束时关闭问题
7. 苹果花费时间最长修复的漏洞是个啥？
8. Spark任务偶现Task卡住很长时间致使Stage总体耗时长
9. 开始时间结束时间对比
10. bootstrap-datepicker 开始时间结束时间
更多相关文章...
• SQLite 日期 & 时间 - SQLite教程
• Eclipse 工作空间(Workspace) - Eclipse 教程
• TiDB 在摩拜单车在线数据业务的应用和实践
• 算法总结-双指针

最新文章

1. No provider available from registry 127.0.0.1:2181 for service com.ddbuy.ser 解决方法
2. Qt5.7以上调用虚拟键盘(支持中文)，以及源码修改(可拖动，水平缩放)
3. 软件测试面试- 购物车功能测试用例设计
4. ElasticSearch（概念篇）：你知道的, 为了搜索…
5. redux理解
6. gitee创建第一个项目
7. 支持向量机之硬间隔（一步步推导，通俗易懂）
8. Mysql 异步复制延迟的原因及解决方案
9. 如何在运行SEPM配置向导时将不可认的复杂数据库密码改为简单密码
10. windows系统下tftp服务器使用

本站公众号

欢迎关注本站公众号,获取更多信息

1. Vue+element 完成结束时间大于开始时间，开始时间小于结束时间
2. Spark Streaming 2.0 runDummySpark Job
3. tomcat启动时session ID创建花了很长时间
4. 一个很简单的验证码验证问题，花费了好长时间
5. python 修改scrapy结束时显示开始时间，结束时间，添加耗费时间
6. 解决Jenkins的job启动tomcat时会在job结束时关闭问题
7. 苹果花费时间最长修复的漏洞是个啥？
8. Spark任务偶现Task卡住很长时间致使Stage总体耗时长
9. 开始时间结束时间对比
10. bootstrap-datepicker 开始时间结束时间

>>更多相关文章<<