大数据HDFS的相关运维题

1.在 HDFS 文件系统的根目录下建立递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -put BigDataSkills.txt  /1daoyun/file 

hadoop fs -ls /1daoyun/file  

2.在 HDFS 文件系统的根目录下建立递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，并使用 HDFS 文件系统检查工具检查文件是否受损。

hadoop fsck /1daoyun/file/BigDataSkills.txt

3.在 HDFS 文件系统的根目录下建立递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，上传   过程指定BigDataSkills.txt 文件在 HDFS 文件系统中的复制因子为 2，并使用 fsck 工具检查存储块的副本数。

hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/

4.HDFS 文件系统的根目录下存在一个/apps 的文件目录，要求开启该目录的可建立快照功能，并为该目录文件建立快照，快照名称为 apps_1daoyun，使用相关命令查看该快照文件的列表信息。

hadoop dfsadmin -allowSnapshot /apps

hadoop fs -createSnapshot /apps apps_1daoyun

hadoop fs -ls /apps/.snapshot

 

 

5.当 Hadoop 集群启动的时候，会首先进入到安全模式的状态，该模式默认30 秒后退出。当系统处于安全模式时，只能对 HDFS 文件系统进行读取，没法进行写入修改删除等的操做。现假设须要对 Hadoop 集群进行维护，须要使集群进入安全模式的状态，并检查其状态。

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode get

6.为了防止操做人员误删文件，HDFS 文件系统提供了回收站的功能，但过多的垃圾文件会占用大量的存储空间。要求在先电大数据平台的 WEB 界面将 HDFS 文件系统回收站中的文件完全删除的时间间隔为 7 天。

7.为了防止操做人员误删文件，HDFS 文件系统提供了回收站的功能，但过多的垃圾文件会占用大量的存储空间。要求在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息，关闭

功能。完成后，重启相应的服务。

vi /etc/hadoop/2.6.1.0-129/0/core-site.xml

<property>

      <name>fs.trash.interval</name>

      <value>10080</value>

    </property>

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode

[root@master MapReduce]# /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode

8.Hadoop 集群中的主机在某些状况下会出现宕机或者系统损坏的问题，一旦遇到这些问题，HDFS 文件系统中的数据文件不免会产生损坏或者丢失，为了保证 HDFS 文件系统的可靠性，现须要在先电大数据平台的 WEB 界面将集群的冗余复制因子修改成 5。

9.Hadoop 集群中的主机在某些状况下会出现宕机或者系统损坏的问题，一旦遇到这些问题，HDFS 文件系统中的数据文件不免会产生损坏或者丢失，为了保证 HDFS 文件系统的可靠性，须要将集群的冗余复制因子修改成 5，在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息，完成后，重启相应的服务。

vi /etc/hadoop/2.6.1.0-129/0/hdfs-site.xml

<property>

      <name>dfs.replication</name>

      <value>5</value>

    </property>

10.使用命令查看 hdfs 文件系统中/tmp 目录下的目录个数，文件个数和文件总大小。

hadoop fs -count -h  /tmp