centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集

centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集群（一）

cloudera 发行的hadoop安装有4种方式，其中使用cloudera manager安装是最简单的。缺点是你不清楚hadoop安装时的配置以及具体流程，并且cloudera manager的商业版是收费的，有免费版可是只支持最多50个节点。虽然官方极力推荐此种方法，可是我的认为若须要对hadoop源码熟悉的较快，能够 选择手动安装。下面简单介绍一下cloudera安装方式的流程。

1、前期准备

一、操做系统选择。

centos、red hat、ubuntu均是能够的，可是和要安装的hadoop版本有区别。根据要安装的hadoop选择操做系统，通常选centos6以上版本。

二、jdk安装配置

选择jdk1.7以上版本，集群安装最好全部节点版本一致，路径一致。下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

将已下载的java包移动到你想要的目录,好比：

cd /usr

mkdir java

mv 'java源包路径' 、/usr/java

rpm -ivh /usr/java/java1.7.....

安装完成后，须要配置环境变量：

export JAVA_HOME=<jdk-install-dir>

sudo env | grep JAVA_HOME

编辑/etc/sudoers文件：

vim /etc/sudoers

按i编辑，添加：

Defaults env_keep+=JAVA_HOME

esc退出编辑，输入‘：wq！’保存退出。

三、关闭selinux

vim /etc/selinux/config

修改SELINUX=disabled

注：重启后生效，能够在配置完其余步骤后再重启。

四、关闭防火墙

service iptables stop    ---临时关闭

chkconfig iptables stop  ---永久关闭

不一样系统有细微区别，建议每次开机都临时关闭防火墙，永久关闭命令不必定有效。

五、配置代理以及修改timeout

vim /etc/yum.conf

添加：

http_proxy=http://server:port/

timeout=55555

此处timeout若不添加可能会在后续cdh4安装时由于网络问题下载安装失败。

六、安装内置数据库postgresql

yum install postgresql

service postgresql initdb    ---此处数据库初始化注意必须在操做系统中添加有PostgreSQL

chkconfig postgresql on      ---开机启动

vim /var/lib/pgsql/data/postgresql.conf   ---配置参数

修改

#listen_addresses = '127.0.0.1'      # what IPaddress(es) to listen on;

                                     # comma-separatedlist of addresses;

                                     #defaults to 'localhost', '*' = all

#port = 5432

修改后：

listen_addresses= '*'              #what IP address(es) to listen on;

                                    # comma-separated listof addresses;

                                    # defaults to'localhost', '*' = all

port= 5432

保存退出。

service postgresql restart    ---重启数据库服务

上述前期配置均已完成后可重启计算机。全部集群节点均作相同操做。

2、部署cdh4集群

一、修改主机名

好比在master节点上：

hostname master

vim /etc/sysconfig/network

修改

HOSTNAME=master

其余slave节点作相似操做，重启计算机。

二、修改hosts

vim /etc/hosts

添加：

192.168.xxx.xxx master

192.168.xxx.xxx slave01

192.168.xxx.xxx slave02

..

..

全部集群电脑作上述相同配置。

三、配置ssh

在Master上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到全部的Slave上；

当Master经过SSH链接Slaver时，Slave会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master；

Master收到加密后用私钥进行解密，并将解密数回送给Slave，Slave确认解密数无误后容许Master不输入密码就能够进行链接。

在master电脑上：

ssh-keygen -t rsa -p ''

一路默认，按enter结束。若以前已有公钥私钥，会出现是否覆盖，y肯定覆盖。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

vim /etc/ssh/sshd_config

修改

#RSAAuthentication yes # 启用RSA 认证

#PubkeyAuthentication yes # 启用公钥私钥配对认证方式

# AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

修改后：

RSAAuthenticationyes # 启用RSA 认证

PubkeyAuthenticationyes # 启用公钥私钥配对认证方式

AuthorizedKeysFile.ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）