could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node

问题描述
在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。ide

解决方案
网上看到的相似的解决方案有如下两种:
在这里插入图片描述
但我这里都不是。blog

我这里的缘由是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,因为没有空间而报错。图片

默认状况下,hive脚本执行完以后会自动清理掉这些临时文件。it

这里之因此出现/tmp下大量文件没被清理,是由于以前本身有屡次没等hive脚本执行完就Ctrl +c掉了,因此有大量临时文件未清理。class

所以,最终的解决方案是删除掉这些没用的临时文件,腾出空间就行了。(最好在全部hive脚本都运行结束后再清理,不然可能会致使正在运行的脚本出现异常)im

相关文章
相关标签/搜索