hadoop file output 报 java.lang.OutOfMemoryError: Requested array size exceeds VM

 使用kettle将hive中的数据抽取到hdfs中，报 java.lang.OutOfMemoryError: Requested array size exceeds VM

 

原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。