Hadoop文件系统介绍

    提起Hadoop文件系统,首先想到的是HDFS,HDFS是Hadoop主要的文件系统,Hadoop还集成了其余文件系统。Hadoop的文件系统是一个抽象的概念,HDFS只是其中的一种实现,Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop的一个文件系统接口,该抽象类有不一样的具体实现,下面将逐个介绍。 apache

     1 HDFS,Hadoop的分布式文件系统。 安全

     2 Local,使用了客户端校验和的本地磁盘文件系统。 服务器

     3 HFTP,这是在HTTP上提供对于HSFS分布式文件系统进行制度访问的一个文件系统,注意该文件系统与FTP没有关系,一般都是与distcp命令结合使用,能够实如今不一样版本的HDFS系统之间进行数据传递。(若是在两个不一样版本的HDFS系统之间用distcp复制数据,因为两个版本的RPC(Remote Procedure Call,远程过程调用)是不兼容的,这样就能够利用基于只读HTTP协议的HFTP文件系统从源文件系统中读取数据。 tcp

     4 HSFTP,在HTTPSHypertext Transfer Protocol over Secure Socket Layer,以安全为目标的HTTP通道,简单讲是HTTP的安全版)上对HDFS提供制度访问的文件系统。 分布式

     5 HAR,构建在其余文件系统之上,主要用于文件存档的文件系统,对HDFS中的文件进行归档,以减小NameNode的内存使用。 oop

     6 HFS,相似于HDFS或者Google的GFS的文件系统,C++编写。 spa

     7 FTP,由FTP服务器支持的文件系统。 接口

相关文章
相关标签/搜索