groupByKey一直OOM处理

时间 2021-07-14

原文原文链接

1、一个任务很简单，就是把2T数据读入，按\t拆分，取里面四个字段，之后groupByKey,但是遇到了一直groupByKey就一直fullGC的问题。这里第一个stage很快就跑完了，应该是在拉数据，map之类的。但是只产出19G数据，groupByKey直接处理应该还是绰绰有余的，但现实是我试了一个周末加一天加两个小时，一直FullGC。这个原因不明，对于整个过程内存到底怎么使用还不完全清楚

>>阅读原文<<

1. 记一次OOM查询处理过程
2. OOM处理的一个例子
3. 线上oom如何处理
4. 深刻理解groupByKey、reduceByKey
5. Android 大图压缩处理，避免OOM
6. Android：内存控制及OOM处理
7. bitmap的处理，尽可能避免OOM
8. 线上OOM发现及处理
9. HIVE-shuffle阶段的oom处理方法
10. android 图片处理OOM问题处理方法
更多相关文章...
• 错误处理 - RUST 教程
• C# 异常处理 - C#教程
• Docker 清理命令
• RxJava操作符（一）Creating Observables