【Hadoop】- Hadoop经常使用命令

列出HDFS文件系统指定目录下文件：hadoop dfs –ls 目录

• -d:只显示目录信息，不显示子目录
• -h:以M为单位的内存显示
• -R:子目录递归显示

HDFS建立目录：hadoop fs -mkdir [-p] <paths>

HDFS删除目录：hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

建立空建立空文件：hadoop fs -touchz pathname

清空全部文件信息： hadoop fs -truncate [-w] <length> <paths>

• -w:若是要清空文件正在处理，则必须等待其处理完成以后再清空，这个期间该文件不能再次被打开

上传文件到HDFS: Hadoop dfs -put 本地文件路径 HDFS文件目录

从HDFS下载文件：hadoop dfs –get hdfs文件路径 本地目录

本地文件复制到HDFS:Hadoop dfs [-f] [-p] 本地文件路径 HDFS文件目录

本地目录复制到HDFS: hadoop dfs -copyFromLocal 本地路径 HDFS目录路径

复制HDFS文件到本地：hadoop dfs -copyToLocal hdfs文件 本地目录

本地目录移动到HDFS: hadoop fs -moveFromLocal <localsrc> <dst> 先复制后删除本地目录

HDFS目录移动本地：hadoop fs -moveToLocal [-crc] hdfs文件路径 本地目录（还未实现）

HDFS文件系统文件移动：hadoop fs -mv URI [URI ...] hdfs文件路径

注意：只能在同一个HDFS内部移动，不能经过网络等途径跨文件系统移动

文件数据追加：hadoop fs -appendToFile 本地文件 hdfs文件路径

查询指定目录的子目录信息：hadoop fs -count [-q] [-h] [-v] <paths>

• -q : 指定输出列参数项
• -h: 显示文件的大小
• -v: 显示标题行
• 返回：成功 0 失败 -1

HDFS删除文件目录：hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

-f:若是文件不存在不会显示错误等提示信息 -R/-r:等价：递归删除子目录 -skipTrash:清理垃圾文件，对于从超过文件容量的目录中删除文件颇有用

查看HDFS文本文件信息：hadoop dfs –cat hdfs文件路径

查询可用HDFS内存空间：hadoop fs -df [-h] URI [URI ...]

• -h:将内存以M的形式形式

查询目录下文件信息：hadoop fs -du [-s] [-h] URI [URI ...]

• -h: -h:将内存以M的形式形式 -s : 统计全部子文件信息，统一展现

个性化查询目录信息： hadoop fs -stat [format] <path> ...

• %F:显示文件的类型：目录/文件
• %u：显示文件的拥有者
• %g：显示文件的组别
• %o：按照块的文件大小
• %r:显示文件的复制因子
• %y：显示文件的修改日期
• %n：显示文件名

查询文件最后1M的信息： hadoop fs -tail [-f] URI

• -f:输出文件增加的数据：动态显示

测试文件的信息：hadoop fs -test -[defsz] URI

• -d：判断文件是不是目录类型：0
• -e:判断文件是否存在：0
• -f：判断文件是不是文件类型: 0
• -s：判断文件是否非空: 0
• -z：判断文件是0字节 :0

查找文件：hadoop fs -find hdfs文件路径 文件名表达式

例：hdfs dfs -find /user/squirrel -name spark* -print -name:查找文件名的表达式：支持正则表达式 -print：打印文件路径信息

显示HDFS文件访问受权信息：hadoop fs -getfacl [-R] <path>

• -R:显示目录子文件的权限信息

注意：开启文件ACL访问信息查询权限：dfs.namenode.acls.enabled true

设置文件的访问权限：hadoop fs -setfacl [-R] [-b |-k -m |-x acl_spec path] |[--set <acl_spec> <path>]

• -b:删除除了基础权限的全部权限
• -k：清除默认权限
• -R:递归授予子文件权限
• -m：修改ACL，添加新的权限信息，原有的权限会保留
• -x:清楚指定的ACL实体信息
• -set：替换原有的ACL信息，从新受权

例：hadoop fs -setfacl --set user::rw- /file

显示文本文件信息：hadoop dfs -cat 文件路径 或者 hadoop dfs -text 文件路径

设置HDFS文件的备份因子：hadoop fs -setrep [-R] [-w] 备份数 hdfs文件

• -W:要求等待备份命令的完成，可能须要消耗不少时间
• -R：递归子类文件备份银子设置

合并HDFS的文件到本地：hadoop fs -getmerge [-nl] hdfs文件列表 本地文件路径

• -nl:每一个文件之间的内容使用空行分开

控制HDFS文件访问权限：dfs -chmod -R 777
HDFS文件路径(避免出现permission denied问题)

hadoop dfsadmin –report: 查看hdfs的状态报告

hadoop安全模式处理：hadoop dfsadmin –safemode enter/leave