spark任务java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE

crash:“Caused by: java.lang.RuntimeException: java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE” 这是 spark 的一个经典错误,很有可能就是 shuffle 的时候有太大的 key 或 value 造成的(当然,此 crash 也有可能涉及 序列化、反序列化、cac
相关文章
相关标签/搜索