sbt spark2.3.1 idea打包Caused by: java.lang.ClassNotFoundException: scala.Product$class

时间 2019-11-06

标签 sbt spark2.3.1 spark idea 打包 caused java.lang.classnotfoundexception java lang classnotfoundexception scala.product scala product class 栏目 Spark 繁體版

原文原文链接

今天同事在服务区上面装的是最新版本的hadoop3.10和spark2.3.1,由于用scala开发，java

因此我想用sbt进行开发。过程当中遇到各类坑，刚开始用的jdk10,结果也报错，后来改为jdk1.8.sql

又报了新的错误。开始用的是scala2.12.6apache

若是不要使用spark的纯scala项目则不报错，但只要是spark的包引用则报错，则通通报错。oop

Caused by: java.lang.ClassNotFoundException: scala.Product$classui

后来修改build.sbt成下面的格式spa

name := "sbttest"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.3.1"


libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.3.1"

重点在scala

scalaVersion := "2.11.12"的版本号2.11要和要和spark-core_后面的数字2.11要相同。这样就不报错了
结果以下