使用kafka consumer api时,中文乱码问题

使用Intelli idea调试kafka low consumer时,因为broker存储的message有中文,服务器

idea中console端是能够正确显示的jvm

而后mvn package打包到服务器上执行,结果中文乱码。ide

而后在kafka consumer代码中byte转为string时,使用了各类编码oop

String mes = new String(bytes,"UTF-8");
String mes = new String(bytes,"GBK");
String mes = new String(bytes,"iso8859-1");

问题仍是没有解决。而后一直google,摆渡,看到有人说到jvm的默认编码会影响程序的编码,因而在程序中把google

Charset.defaultCharset()打印出来,结果,在idea中显示的是UTF-8,在服务器上执行时就变成了US-ASCII。编码

我整个工程都是以UTF-8编码的,难怪在服务器上中文会乱码了。问题找到了,而后又通过一番折腾,终于解决了问题idea

在/etc/profile添加HADOOP_OPT="-Dfile encoding=UTF-8",保存退出 source /etc/profile,从新执行spa

hadoop jar kafkaHdfs-1.0-SNAPSHOT-jar-with-dependencies.jar org.conan.kafka.AllTopicsConsumer ./hdfs.properties
相关文章
相关标签/搜索