Hadoop-2.7.7 给HDFS的datanode增长新磁盘的注意事项【踩坑记录】

附上Hadoop-2.7.7集群设置官网文档：

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/ClusterSetup.html

Hadoop-2.7.7 hdfs-site.xml完整版配置模板：

http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

hdfs-site.xml文件配置项说明：

dfs.datanode.data.dir

逗号分隔的DataNode本地文件系统上的路径列表，它应该存储其块。若是只有一块磁盘，直接写就能够了

若是是逗号分隔的目录列表，则数据将存储在全部命名目录中，一般位于不一样磁盘上。

 示例：

<!-- hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，一般能够设置多个，用逗号隔开 -->
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>这里写你的Hostname:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/extdisk/soft/hadoop-2.7.7/data/tmp</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/name</value>
    </property>
    <!-- 注意这里的逗号分隔 -->
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>/extdisk/soft/hadoop-2.7.7/data/tmp/dfs/data,/data1/dfs/datanodedir</value>
    </property>
    <!-- 平衡策略，推荐使用 -->
    <property>
         <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
         <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
    </property>
</configuration>

附效果图：

注意来自有些博客的安装文档中，会把这些配置项写到 core-site.xml中 而不是 hdfs-site.xml中。

如此一来，无论你怎么配置都不生效！ 

切记这个配置是在hdfs-site.xml 中！ 

配置成功后重启data-node便可

配置成功后,打开50070端口管理界面: http://你的IP地址:50070/dfshealth.html#tab-overview

 

查看一下Datanodes