Spark操做hive示例代码

1. 1. 示例代码

val sparkConf = new SparkConf().setAppName("hive example")     

    val sc = new SparkContext(sparkConf)                                         

    val hiveContext = new HiveContext(sc)                                        

    val tableName="hive_test";

             

    var spark = SparkSession

      .builder()

      .appName("Spark SQL basic example")

      .config("spark.sql.warehouse.dir","hdfs://10.37.154.84:8020/user/hive/warehouse")

      .enableHiveSupport()

      .getOrCreate()

 

    spark.sql("SELECT * FROM hive_test").show()

 

1. 1. 版本问题

当spark2.2和hadoop2.6安装在不一样的集群，同时hive和hadoop安装在一块儿的时候，若是要使用spark sql访问hive，须要将hive的hive-site.xml复制到spark的conf目录中。

同时，spark2.2默认是访问hive1.2.0版本的，而hive2.2.0的客户端会和spark2.2存在版本不一致，在默认状况下，意味着二者不能并存，由于他们会各类将本身的版本信息写到hive的metastore中。

解决办法是有的。首先设置属性：

<property>

               <name>hive.metastore.schema.verification</name>

           <value>false</value>

    </property>

这样在使用的时候不检查hive的version，也就不会引发version不一致的冲突。

其次在spark中使用的时候，设置如下两个属性：

<property>

<name>spark.sql.hive.metastore.version</name>

<value>2.1.0</value>

</property>

 

<property>

<name>spark.sql.hive.metastore.jars</name>

<value>file:////home/spark/hivelib/hive-metastore-2.2.0.jar</value>

</property>

 

设置hive的metastore版本号和新的jar包地址。

通过实践这样均可以操做了。

这些开源框架必定要注意各个版本之间的兼容问题，不少时间要看看源码才能找到答案。