文件操做超租期,实际上就是data stream操做过程当中文件被删掉了。一般是由于Mapred多个task操做同一个文件,一个task完成后删掉文件致使。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限,总默认值是 4096,该参数取值范围[1 to 8192]node
dfs.datanode.max.transfer.threads 4096
Specifies the maximum number of threads to use for transferring data in and out of the DN.
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>
http://blog.csdn.net/zhoujj303030/article/details/44422415
https://issues.apache.org/jira/browse/HDFS-4723
http://permalink.gmane.org/gmane.comp.jakarta.lucene.hadoop.user/53521apache
版权声明:本文为博主原创文章,未经博主容许不得转载。markdown