troubleshooting---线上问题解决

1、控制shuffle reduce端缓冲大小以免OOM reduce端的task读取数据时，并非等到map端task将属于本身的那份数据所有写入磁盘文件以后再去拉取，而是先把数据拉取进缓冲区，而后才用后面的executor分配的堆内存占比（好比0.2）来进行后续的聚合、函数的执行。reduce端缓存默认是48M。sql ①减少reduce端缓冲大小 当map端数据量比较大，而且写出的速度很快的时

>>阅读原文<<