HADOOP彻底分布式安装总结

时间  2019-11-17
标签 hadoop 彻底 分布式 安装 总结 栏目 Hadoop 繁體版
原文   原文链接

hadoop1.x彻底分布式安装

与伪分布式安装的主要区别：

主要是ssh免密码登录部分有所区别。伪分布式全部节点位于一台主机，一次免密码登录其实是免密码登录本机；彻底分布式要求免密码登录集群内全部机器。node

hadoop1.x彻底分布式安装步骤（虚拟机环境下）：

 0.安装建议：

        在屡次安装以后我的推荐使用CentOS安装，网络链接方式使用桥接（后来看到NAT的貌似更合理，但没有尝试）。在使用ubuntu桌面版本期间网络链接不稳定，无规律出现宿主机与虚拟机没法链接的情况。linux

    ubuntu桌面版的好处：不用关闭iptables、selinux；额外步骤：开启root用户web

    CentOS我使用的是最简版，如下以CentOS最简版本安装为例介绍。shell

  1. 安装前准备工做：

    1. 安装虚拟机和Linuxapache

    2. 安装jdk（建议配置环境变量）、下载解压Hadoopubuntu

    3. 关闭linux的iptables、seLinux（chkconfig iptables off、/etc/selinux/config）centos

    4. 设置静态IP（/etc/sysconfig/network-scripts/ifcfg-eth0、/etc/resolv.conf）网络

    5. 重启网络（/etc/init.d/network restart）app

    6. 修改主机名（/etc/sysconfig/network）ssh

    7. 配置hosts（/etc/hosts）

    8. 配置yum源/etc/yum.repos.d/yum.repo

          静态IP配置文件示例：

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.1.120
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

            yum文件配置示例：

[name]
name=myyum
baseurl=http://mirrors.163.com/centos/6.5/os/x86_64
gpgcheck=0

    2. 配置免密码ssh登录

ssh-keygen -t rsa
cd ~/.ssh
scp ./id_rsa.pub root@192.168.1.112:/root/.ssh/authorized_keys

       1.>生成ssh密钥位于~/.ssh文件夹

       2.>将公钥复制的集群内某一主机（注意后面的位置与本身机器设置保持一致）

       3.>集群内全部主机重复1.>,将全部公钥集中存储在一台机器的anthorized_keys文件

       4.>将存有全部主机公钥的authorized_keys文件复制到集群全部主机

    3. 修改Hadoop配置文件

        全部配置文件位于hadoop安装目录下的conf目录下

        注意：全部配置文件仅仅是示例，具体内容应与本身集群的设置保持一致

        1.>hadoop-env.sh（修改jdk安装位置便可）

        2.>core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://backup01:9000</value>
	</property>
	
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop_tmp</value>
	</property>
</configuration>

        3.>hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>	
	</property>
</configuration>

        4.>mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>backup01:9001</value>
	</property>
</configuration>

        5.>master（写入主节点主机名）

        6.>slaves（写入从节点主机名）

    4. 启动前工做

        1.>SCP命令复制hadoop文件夹至集群全部主机

        2.>格式化namenode：

$HADOOP_HOME$/bin hadoop namenode -format

        注意：不要重复格式化

    5. 启动Hadoop集群

 $HADOOP_HOME$/bin start-all.sh

若是没有什么异常。至此，Hadoop1.x彻底分布式安装完成。


hadoop2.x安装

与hadoop1.x安装相似，主要不一样集中在配置文件和启动方式，修改配置文件以前工做于安装hadoop1.x一致

修改配置文件：

7个配置文件

hadoop/etc/hadoop/hadoop-env.sh（选择jdk）

hadoop/etc/hadoop/yarn-sev.sh（选择jdk）

hadoop/etc/hadoop/slaves（写入从节点）

hadoop/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://h1:9000</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop/tmp</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.groups</name>
		<value>*</value>
	</property>
</configuration>

hadoop/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>h1:9001</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/name</value>	
	</property>
	<property>
		<name>dfs.namenode.data.dir</name>
		<value>file:/usr/local/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
</configuration>

hadoop/etc/hadoop/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>h1:10020</value>	
	</property>
	<property>
		<name>mapredece.jobhistory.webapp.address</name>
		<value>h1:19888</value>
	</property>
</configuration>

hadoop/etc/hadoop/yarn-site.xml

<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>h1:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>h1:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>h1:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>h1:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>h1:8088</value>
	</property>
</configuration>

 格式化namenode：

./bin/hdfs namenode –format

启动hadoop:

 ./sbin/start -all.sh


总结写的很仓促，可能不够详尽，甚至有内容错误，但愿发现的朋友及时指正。

好久不使用CentOS，对OS的基本命令和设置遗忘甚多，感谢舍长的帮助让我顺利完成安装。


参考资料：

Hadoop MapReduce Cookbook

Hadoop基础教程

其余来自互联网的资料

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程