CDH hadoop 部署

1. 全部免密钥登录(all节点)(centos6 操做系统)
java

node01 2C  6G
node02 2C  2G
node03 2C  2G
2.node01 安装数据库 mysql5.5(node01节点)
https://blog.csdn.net/u012402177/article/details/82870433
root/123456
3.下载基础的软件(all 节点)
yum  -y  install  chkconfig python bind-utils psmisc libxslt  zlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse  fuse-libs  redhat-lsb
/etc/init.d/ntpd  start  
解决agent启动会有问题:
/opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/build/env/bin/python: error while loading shared libraries: libpython2.6.so.1.0: cannot open shared object file: No such file or directory
wget  http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar -xzvf Python-2.6.6.tgz
cd  Python-2.6.6
./configure --prefix=/foo/python26 --enable-shared
make
make altinstall
sudo ln -s /foo/python26/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0
4.clouderamanager安装(server 和 agent节点都须要  all)
 mkdir /opt/cloudera-manager
 tar xvzf cloudera-manager*.tar.gz  -C /opt/cloudera-manager
5.添加用户全部节点
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.修该全部agent节点的server的地址
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中server_host
7.建立目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
8.server节点制做源(文件放在以下路径)
cd  /opt/cloudera/parcel-repo
[root@node01 parcel-repo]# 11
-rw-r--r-- 1 root root 1272629458 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
-rw-r--r-- 1 root root         41 Oct 30 13:33 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
-rw-r--r-- 1 root root      42625 Oct 30 13:32 manifest.json
9.配置CM数据库  以及数据库链接驱动
mkdir -p   /usr/share/java/
cd /usr/share/java/
cp -a  /root/install/mysql-connector-java-5.1.26-bin.jar   ./
mv  mysql-connector-java-5.1.26-bin.jar  mysql-connector-java.jar
建立库(server端执行)
删除mysql.user 里面全部多余的用户 只剩一个管理员
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
flush  privileges;
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node01 -utemp -ptemp --scm-host node01 scm scm scm
10.启动服务
server端 node01
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
agent  node01  node02  node03
 /opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent  restart

2.node

1.png

3.python

2.png

4.mysql

3.png

5.sql

4.png

6.shell

5.png

7.数据库

6.png

8.json

7.png

9.centos

8.png

10.api

9.png

11.

10.png

12.

11.png

13.

12.png

14.

13.png

15.

14.png

16.

15.png

17.

16.png

18.

17.png

19.

18.png

20.

20.png

21.

21.png

22.

22.png

23.

23.png

24.

10.png

相关文章
相关标签/搜索