IDEA本地运行spark生成数据到hive中出错

在window下经过idea开发,在代码中须要spark,使用loacl模式,生成一些数据存放到hive中,使用的也是spark自带的hive库。java

在idea 运行时报错:sql

Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ---------apache

报错信息能够看到是root想在/tmp/hive目录下写数据,而没有权限。
首先本地是否有/tmp/hive目录,再次确认此目录的权限。ide

解决办法:工具

从网上看到有帖子解决oop

  1. 系统中首先要配置hadoop环境和winutils工具
  2. 打开cmd命令提示符窗口,输入如下命令:
winutils.exe ls F:\tmp\hive
winutils.exe chmod 777 F:\tmp\hive
winutils.exe ls F:\tmp\hive

3.再次运行idea程序,最终仍是报错idea

实际解决办法:spa

  1. 系统中仍是要安装hadoop环境和winutils工具;
  2. 打开cmd窗口,切换到idea程序所在的盘符下。
    个人开发路径在e:\workspace下,因此在命令提示行下输入->: e: (回车即切换到e盘下)
    (命令提示符默认在C盘下操做,因此以前按照网上解决办法都是在c盘下建立tmp\hive目录,实际idea已经在E盘下建立了tmp\hive目录,只是没有权限)
  3. 在经过winutils进行对e盘下的tmp\hive目录赋权限便可。
相关文章
相关标签/搜索