Spark真实生产环境出错

时间 2019-11-15

标签 spark 真实生产环境出错栏目 Spark 繁體版

原文原文链接

com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.java

获取正确的端口号
hdfs getconf -confKey fs.default.nameapache

java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)[Ljava/lang/Object;maven

scala版本不一致，修改版本。google

spark2 ---scala2.11.x 最高到2.11.xspa

使用maven的maven-shade-plugin插件时须要注意的一个问题

须要配置一个false插件

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>

mac进入Liscala

command + shift +gcode