1. 按照行数读取hadoop文件方法node
hadoop fs -text /dahua/original_data/shiwu.csv | head -n 3app
2. tail默认查看最后一千字节。例如要查阅README.txt最后一千个字节，能够执行以下命令。oop
hadoop fs -tail README.txt 日志
3. 显示文件结尾的5行索引
hadoop fs -cat /luojp/README.md | tail -n 5 ip
HDFS有一个默认工做目录/usr/$USER，其中$USER是你的登陆用户名，做者的用户名是root。该目录不能自动建立，须要执行mkdir命令建立。hadoop
hadoop fs -mkdir /usr/rootget
使用Hadoop的命令put将本地文件README.txt送到HDFS。文件上传
hadoop fs -put README.txt .it
注意上面这个命令最后一个参数是句点（.），这意味着把本地文件放入到默认的工做目录，该命令等价于：
hadoop fs -put README.txt /user/root
使用Hadoop的ls命令，即
hadoop fs -ls
获取文件包含两层意思，一是HDFS从本地文件中获取文件，即前面介绍的添加文件；二是本地文件从HDFS中获取文件，能够使用Hadoop的get命令。例如若本地文件没有README.txt文件，须要从HDFS中取回，能够执行以下命令。
hadoop fs -get README.txt .
或者
hadoop fs -get README.txt /usr/root/README.txt
4 删除文件
Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt，能够执行以下命令。
hadoop fs -rm README.txt
5 检索文件
检索文件即查阅HDFS中的文件内容，能够使用hadoop中的cat命令。例如要查阅README.txt的内容，能够执行以下命令。
hadoop fs -cat README.txt
查阅帮助
hadoop fs -help [command]
如： hadoop fs -help ls
6 随机返回指定行数的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5
7 返回前几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100
8 返回最后几行的样本数据
hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | tail -5
9 查看文本行数
hadoop fs -cat hdfs://172.16.0.226:8020/test/sys_dict/sysdict_case_type.csv |wc -l
10 查看文件大小(单位byte)
hadoop fs -du hdfs://172.16.0.226:8020/test/sys_dict/*
hadoop fs -count hdfs://172.16.0.226:8020/test/sys_dict/*
11 某个文件的blocks信息
hadoop fsck /user/xx -files -blocks -locations
12 改变一个文件或者目录的副本因子
hadoop fs -setrep -R 3 /user/xx
13 查看app的log
yarn logs -applicationId application_1452250357031_0175
14 set datanode 日志级别
hadoop daemonlog -setlevel namenodeip:50070 datanode DEBUG
或者 在hadoop-env.sh中添加
export HADOOP_ROOT_LOGGER=DEBUG,RFA
15 查看sequence文件
hadoop dfs -text sequenceFile
16 查看压缩文件
lzo文件(先按照lzop命令) hadoop fs -cat /user/2017-03-06/part-r-00255.lzo | lzop -dc | head -1
gz压缩 hadoop fs -cat /tmp/temp.txt.gz | gzip -d 或者 hadoop fs -cat /tmp/temp.txt.gz | zcat
17 lzo创建索引(方便切分多个split，会在当前hdfs目录下建立一个.index文件)hadoop jar lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/news_74_8000_201705091820.lzo