【转】HDFS 的Trash回收站功能的配置、使用

原文连接 http://my.oschina.net/cloudcoder/blog/179381

 

文件的删除和恢复 

       和Linux系统的回收站设计同样，HDFS会为每个用户建立一个回收站目录：/user/用户名/.Trash/，每个被用户经过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间以后没有被用户回复的话，HDFS就会自动的把这个文件/目录完全删除，以后，用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Emptier，这个线程专门管理和监控系统回收站下面的全部文件/目录，对于已经超过生命周期的文件/目录，这个线程就会自动的删除它们，不过这个管理的粒度很大。另外，用户也能够手动清空回收站，清空回收站的操做和删除普通的文件目录是同样的，只不过HDFS会自动检测这个文件目录是否是回收站，若是是，HDFS固然不会再把它放入用户的回收站中了

       根据上面的介绍，用户经过命令行即HDFS的shell命令删除某个文件，这个文件并无马上从HDFS中删除。相反，HDFS将这个文件重命名，并转移到操做用户的回收站目录中（如/user/hdfs/.Trash/Current, 其中hdfs是操做的用户名）。若是用户的回收站中已经存在了用户当前删除的文件/目录，则HDFS会将这个当前被删除的文件/目录重命名，命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始知道没有重名为止)。

        当文件还在/user/hdfs/.Trash/Current目录时，该文件能够被迅速地恢复。文件在/user/hdfs/.Trash/Current中保存的时间是可配置的，当超过这个时间，Namenode就会将该文件从namespace中删除。 文件的删除，也将释放关联该文件的数据块。注意到，在文件被用户删除和HDFS空闲的增长之间会有一个等待时间延迟。 
    当被删除的文件还保留在/user/hdfs/.Trash/Current目录中的时候，若是用户想恢复这个文件，能够检索浏览/user/hdfs/.Trash/Current目录并检索该文件。/user/hdfs/.Trash/Current目录仅仅保存被删除 文件的最近一次拷贝。/user/dfs/.Trash/Current目录与其余文件目录没有什么不一样，除了一点：HDFS在该目录上应用了一个特殊的策略来自动删除文件，目前的默认策略是 删除保留超过6小时的文件，这个策略之后会定义成可配置的接口。

      还有，NameNode是经过后台线程(默认是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也能够经过fs.trash.classname指定TrashPolicy类)来定时清空全部用户回收站中的文件/目录的,它每隔interval分钟就清空一次用户回收站。具体的操做步骤是，先检查用户回收站目录/user/用户名/.Trash下的全部yyMMddHHmm形式的目录，而后删除寿命超过interval的目录，最后将当前存放删除的文件/目录的回收站目录/user/用户名/.Trash/current重命名为一个/user/用户名/.Trash/yyMMddHHmm.

      从这个回收线程(Emptier)的实现能够看出，被用户用命令删除的文件最多可在其回收站中保存2*interval分钟，最少可保存interval分钟，过了这个有效期，用户删除的文件就永远也不可能恢复了

配置

在每一个节点(不单单是主节点)上添加配置 /etc/hadoop/conf/core-site.xml,增长以下内容

?

1 2 3 4

< property >      < name >fs.trash.interval</ name >      < value >1440</ value > </ property >

注意：当用户写程序调用HDFS的API时，NameNode并不会把删除的文件或目录放入回收站Trash中，而是须要本身实现相关的回收站逻辑，见以下的代码

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64

import java.io.IOException;   import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;   public class RMFile {      private final static Log log = LogFactory.getLog(RMFile. class );      private final static Configuration conf = new Configuration();        /**       * Delete a file/directory on hdfs       *       * @param path       * @param recursive       * @return       * @throws IOException       */      public static boolean rm(FileSystem fs, Path path, boolean recursive)              throws IOException {          log.info( "rm: " + path + " recursive: " + recursive);          boolean ret = fs.delete(path, recursive);          if (ret)              log.info( "rm: " + path);          return ret;        }        /**       * Delete a file/directory on hdfs,and move a file/directory to Trash       * @param fs       * @param path       * @param recursive       * @param skipTrash       * @return       * @throws IOException       */      public static boolean rm(FileSystem fs, Path path, boolean recursive,              boolean skipTrash) throws IOException {          log.info( "rm: " + path + " recursive: " + recursive+ " skipTrash:" +skipTrash);          if (!skipTrash) {              Trash trashTmp = new Trash(fs, conf);              if (trashTmp.moveToTrash(path)) {                  log.info( "Moved to trash: " + path);                  return true ;              }          }          boolean ret = fs.delete(path, recursive);          if (ret)              log.info( "rm: " + path);          return ret;        }        public static void main(String[] args) throws IOException {          conf.set( "fs.default.name" , "hdfs://data2.kt:8020/" );          FileSystem fs = FileSystem.get(conf);          RMFile.rm(fs, new Path( "hdfs://data2.kt:8020/test/testrm" ), true , false );      }   }

执行程序后，发现使用程序删除的文件，也到了用户的回收站目录中，见红框内