Hadoop 命令整理

1.appendToFile

将【单个文件】或【多个文件】从本地文件系统追加到hdfs目标文件。

用法：hadoop fs -appendToFile <localsrc> ... <dst>

例子：hadoop fs -appendToFile log.txt  word.txt hdfs://Hadoop1:9000/hd-test.txt

2.cat

将指定【hdfs文件】内容输出到控制台。

用法： hadoop fs -cat [-ignoreCrc] URI [URI ...]

例子：hadoop fs -cat hdfs://Hadoop1:9000/hd-test.txt

3.checksum

返回【文件】的校验和信息。

用法：hadoop fs -checksum URI

例子：hadoop fs -checksum file:///etc/hosts    检验本地文件

         hadoop fs -checksum hdfs://Hadoop1:9000/hd-test.txt    检验hdfs文件

4.chgrp

更改hdfs【hdfs文件】的组关联。用户必须是文件的全部者，不然是超级用户。

用法：hadoop fs -chgrp [-R] GROUP URI [URI ...]

-R选项将经过目录结构递归地进行更改

例子：hadoop fs -chgrp hadoop hdfs://Hadoop1:9000/hd-test.txt

5.chmod

更改文件的权限。使用-R，递归地经过目录结构进行更改。用户必须是文件的全部者，不然是超级用户。

用法： hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

例子：hadoop fs -chmod 777 hdfs://Hadoop1:9000/hd-test.txt

6.chown

更改文件的全部者。用户必须是超级用户。

用法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

例子：hadoop fs -chown hadoop hdfs://Hadoop1:9000/hd-test.txt

7.copyFromLocal

与fs -put命令相似，-put把本地或者HDFS上的文件拷贝到HDFS中，copyFromLocal源限制为本地文件。

用法：hadoop fs -copyFromLocal <localsrc> URI

参数：

• -p：保留访问和修改时间，全部权和权限。（假设权限能够跨文件系统传播）
• -f：覆盖目标，若是它已经存在。
• -l：容许DataNode延迟地将文件保存到磁盘，强制复制因子为1.此标志将致使减小的持久性。
• -d：跳过建立后缀为._COPYING_的临时文件。

例子：hadoop fs -copyFromLocal word.txt  hdfs://Hadoop1:9000/word.txt

8.copyToLocal

与get命令相似，只是目标被限制为本地文件。

用法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

例子：hadoop fs -copyToLocal  hdfs://Hadoop1:9000/word.txt word3.txt

9.count

统计与指定文件模式匹配的路径下的目录，文件和字节数。带有-count的输出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME。

参数：

• -q的输出列为：QUOTA，REMAINING_QUATA，SPACE_QUOTA，REMAINING_SPACE_QUOTA，DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME
• -h选项以可读格式显示大小。
• -v选项显示标题行。

用法：hadoop fs -count [-q] [-h] [-v] <paths>

例子：hadoop fs -count -v  hdfs://Hadoop1:9000/word.txt

10.cp

将文件从源文件复制到目的地。这个命令容许多个源，在这种状况下，目标必须是一个目录。
若是（1）源和目标文件系统支持它们（仅限于HDFS），（2）全部源和目标路径名都在/.reserved/raw层次结构中，则保留'raw。*'命名空间扩展属性。肯定raw。* namespace xattrs是否保存与-p（preserve）标志无关。
选项：

• -f若是它已经存在，选项将覆盖目标。
• -p选项将保留文件属性[topx]（时间戳，全部权，权限，ACL，XAttr）。若是-p指定为不带arg，则保留时间戳，全部权和权限。若是指定了-pa，则还会保留权限，由于ACL是超级权限。肯定是否保留原始名称空间扩展属性与-p标志无关。

用法：hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

例子：