hive产生不少.staging_hive文件

在使用spark-streaming的时候，调用了spark-sql，会执行hive语句，这个时候在hive的目录下回产生不少.staging_hive文件，并且是操做哪一个表，就在哪一个表中产生。hive也会产生.staging_hive，可是hive产生后会被移除，而spark-sql不会移除，因此咱们须要手动处理这种状况。

1. 在hive-site.xml中添加以下属性，全部的.staging-hive*文件都产生到/tmp/staging/目录下了。在cm的hive配置中，这一部分的配置须要加在“hive-site.xml 的 Hive 客户端高级配置代码段（安全阀）”这一项中，由于这一部分的配置是生效在hive的客户端中，加在服务器端是没用的，不生效。.hive-staging只是产生文件的前缀，不是目录。

<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/staging/.hive-staging</value>
</property>

1. 写shell脚本，定时去/tmp/hive/staging/.staging目录下清除文件，注意，清除文件必定要清除昨天的，今天产生的有可能正好在用，若是被移除了，则会报错，调试的时候碰到过这种状况。

参考：
hive任务中MoveTask的策略
hive insert overwrite1.2.1 没法删除旧文件的问题