—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。html
Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过程,使用Cloudera能够快速、简单地部署集群,安装所须要的组件,并能够实现对集群的管理和监控。java
Cloudera Manager主要提供了四大功能:(1)对集群进行管理,如添加、删除节点等操做;(2)监控集群的健康状况,对各类指标和系统运行状况进行全面监控;(3)对集群出现的问题进行诊断,并给出建议解决方案;(4)对Hadoop的多组件进行整合、集成。mysql
CDH (Cloudera's Distribution, including Apache Hadoop),是由Cloudera维护的Hadoop分支,基于稳定版本的Apache Hadoop构建的,集成了不少补丁,可直接用于生产环境。linux
更多详细的介绍,请见 Cloudera 官网sql
在公司内部机房,因为受网络访问控制的缘由,服务器没法直接链接互联网在线安装Cloudera Manager 5和CDH5。下面介绍本地离线安装Cloudera Manager 5和CDH5的过程shell
1、集群概况数据库
节点 | IP | 主机名 | 操做系统 |
管理节点 | 172.17.0.1 | hd1.hdsite | CentOS 6.9 x86_64 |
工做节点 | 172.17.0.2 | hd2.hdsite | CentOS 6.9 x86_64 |
工做节点 | 172.17.0.3 | hd3.hdsite | CentOS 6.9 x86_64 |
工做节点 | 172.17.0.4 | hd4.hdsite | CentOS 6.9 x86_64 |
2、基础环境配置json
一、配置主机IP映射关系浏览器
vi /etc/hosts 172.17.0.1 hd1.hdsite hd1 172.17.0.2 hd2.hdsite hd2 172.17.0.3 hd3.hdsite hd3 172.17.0.4 hd4.hdsite hd4
二、关闭防火墙bash
service iptables stop chkconfig iptables off
三、关闭SELinux,重启
vi /etc/selinux/config SELINUX=disabled # 将SELINUX=enforcing改成SELINUX=disabled reboot
四、下载安装JDK 1.7,注意CDH5.13.0版本在官网中建议使用JDK1.7,未充分测试过JDK1.8及以上的版本
mkdir /usr/java cd /usr/java tar -zxvf jdk-7u75-linux-x64.gz #在 /etc/profile 中配置环境变量 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_75 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin
五、安装mysql数据库
(1)到MySQL官网打开MySQL 社区版下载页面,而后下载如下的MySQL rpm安装包
(2)MySQL官网有介绍MySQL rpm包的安装方法,通常须要安装 mysql-community-server, mysql-community-client, mysql-community-libs, mysql-community-common, and mysql-community-libs-compat 这些包。在MySQL服务端至少安装 mysql-community-{server,client,common,libs}-* 软件 包,在MySQL客户端至少安装 mysql-community-{client,common,libs}-* 软件包
在安装以前,先查看一下,系统以前是否有安装过mysql相关的包,若是有,则卸载掉,输入指令查询
rpm -qa|grep mysql
接下来,按顺序安装mysql 的 rpm包,因为这几个rpm包有依赖关系,所以,安装时按如下顺序逐个安装
rpm -ivh mysql-community-common-5.7.18-1.el6.x86_64.rpm rpm -ivh mysql-community-libs-5.7.18-1.el6.x86_64.rpm rpm -ivh mysql-community-libs-compat-5.7.18-1.el6.x86_64.rpm rpm -ivh mysql-community-client-5.7.18-1.el6.x86_64.rpm rpm -ivh mysql-community-devel-5.7.18-1.el6.x86_64.rpm rpm -ivh mysql-community-server-5.7.18-1.el6.x86_64.rpm
(3)所有安装完成后,则使用 service mysqld start 启动mysql服务,首次启动时,mysql 数据库还会进行初始化,并生成root的初始密码
[root@31d48048cb1e ahadoop]# service mysqld start Initializing MySQL database: [ OK ] Installing validate password plugin: [ OK ] Starting mysqld: [ OK ]
(4)在日志里面获取root初始密码,使用如下命令
[root@31d48048cb1e ahadoop]# grep 'temporary password' /var/log/mysqld.log 2017-06-23T04:04:40.322567Z 1 [Note] A temporary password is generated for root@localhost: g1hK=pYBo(x9
其中,最后的 g1hK=pYBo(x9 就是初始密码(随机产生的,每次安装不同的哦)
使用初始密码,登陆mysql并修改root密码为 Test.123
mysql -u root -p mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Test.123';
【注意】MySQL 默认会开启强密码验证(MySQL's validate_password plugin is installed by default),要求密码长度至少8个字符,包含至少1个大写、1个小写、1个数字、1个特殊字符。
(5)修改数据库的字符集,查看默认的字符集
mysql> SHOW VARIABLES like 'character%'; +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+----------------------------+ | character_set_client | utf8 | | character_set_connection | utf8 | | character_set_database | latin1 | | character_set_filesystem | binary | | character_set_results | utf8 | | character_set_server | latin1 | | character_set_system | utf8 | | character_sets_dir | /usr/share/mysql/charsets/ | +--------------------------+----------------------------+ 8 rows in set (0.00 sec)
能够看出,database、server的字符集为latin1,若是后面在建数据库、数据表时,没有指定utf8,输入中文会变成乱码。MySQL 官网有介绍了更改字符集的方法,修改 mysql 的配置文件
vi /etc/my.cnf # 在 [mysqld] 下面加上这个配置 [mysqld] character-set-server=utf8 # 若是 client 默认不是 utf8,要改为 utf8 则在 [client] 中加上这个配置 [client] default-character-set=utf8
更改好配置文件后,保存退出,重启 mysql
service mysqld restart
再查看数据库的字符集,已变成utf8,以下
mysql> SHOW VARIABLES like 'character%'; +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+----------------------------+ | character_set_client | utf8 | | character_set_connection | utf8 | | character_set_database | utf8 | | character_set_filesystem | binary | | character_set_results | utf8 | | character_set_server | utf8 | | character_set_system | utf8 | | character_sets_dir | /usr/share/mysql/charsets/ | +--------------------------+----------------------------+ 8 rows in set (0.00 sec)
(6)建立用于存储hive元数据库的数据库、帐号密码
使用mysql的root帐号进入mysql后,建立数据库和帐号
#建立相关的数据库 #hive create database chivedb; #activity monitor create database camondb; # 建帐号 grant all privileges on chivedb.* to 'chadoop'@'localhost' identified by 'Test.123' with grant option; grant all privileges on chivedb.* to 'chadoop'@'%' identified by 'Test.123' with grant option; grant all privileges on camondb.* to 'chadoop'@'localhost' identified by 'Test.123' with grant option; grant all privileges on camondb.* to 'chadoop'@'%' identified by 'Test.123' with grant option; flush privileges;
3、下载安装包
一、下载 Cloudera Manager 5,下载连接为 http://archive.cloudera.com/cm5/cm/5/ 根据本地操做系统(CentOS 6.9)下载 cloudera-manager-el6-cm5.13.0_x86_64.tar.gz
二、下载 CDH安装包,下载连接为 http://archive.cloudera.com/cdh5/parcels/5.13.0/ ,根据本地操做系统(CentOS 6.9)下载如下三个文件(注意:旧版本的CDH4还须要下载IMPALA、Cloudera Search(SOLR),而在CDH5中已将他们整合在一块儿了)
CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1
4、安装Cloudera Manager Server和Agent
一、主节点hd1安装Cloudera Manager Server
Cloudera Manager的目录默认位置为/opt,在/opt目录下解压安装文件
cd /opt tar -zxvf cloudera-manager-el6-cm5.13.0_x86_64.tar.gz
二、初始化Cloudera Manager 5数据库
首先在MySql的官网下载JDBC驱动,下载mysql-connector-java-5.1.45.zip,解压后,找到mysql-connector-java-5.1.45-bin.jar,放到/opt/cm-5.13.0/share/cmf/lib/中
cp mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib/
在主节点hd1中初始化CM5的数据库
sh /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pTest.123 scm scm
若是执行出错,报错信息为:java.sql.SQLException: Your password does not satisfy the current policy requirements这是因为MySQL密码复杂度设置的缘由,将MySQL的密码复杂度修改成低等级
$ mysql -uroot -p密码 mysql> select @@validate_password_policy; +----------------------------+ | @@validate_password_policy | +----------------------------+ | MEDIUM | +----------------------------+ 1 row in set (0.00 sec) mysql> set global validate_password_policy=0; Query OK, 0 rows affected (0.00 sec) mysql> exit; Bye
从新执行初始化CM5的数据库
[root@31d48048cb1e /]# sh /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pTest.123 scm scm Enter SCM password: JAVA_HOME=/usr/java/jdk1.7.0_75 Verifying that we can write to /opt/cm-5.11.1/etc/cloudera-scm-server Creating SCM configuration file in /opt/cm-5.11.1/etc/cloudera-scm-server groups: cloudera-scm: No such user Executing: /usr/java/jdk1.7.0_75/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.11.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.11.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. 2017-08-26 13:17:50,669 [main] INFO com.cloudera.enterprise.dbutil.DbCommandExecutor - Successfully connected to database. All done, your SCM database is configured correctly!
在初始化时要求输入SCM的密码
三、修改Agent的主节点主机
[root@31d48048cb1e /]# vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini [General] # Hostname of the CM server.修改为主节点的主机名 server_host=hd1 # Port that the CM server is listening on. server_port=7182 ## It should not normally be necessary to modify these. # Port that the CM agent should listen on. # listening_port=9000
注意,server_host那个配置项前面,不能出现空格,不然会形成cloudera-scm-server能正常启动,但cloudera-scm-agent没法正常启动
四、将Agent文件同步到其它节点
[root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd2:/opt/ [root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd3:/opt/ [root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd4:/opt/
五、建立cloudera-scm用户(全部节点)
useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准备CDH5 Parcels文件
将下载的CHD5相关Parcels包放到主节点的/opt/cloudera/parcel-repo/目录中(如无该目录,则手动建立)
[root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel /opt/cloudera/parcel-repo/ [root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1 /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha [root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha /opt/cloudera/parcel-repo/ [root@31d48048cb1e opt]# mv /home/chadoop/manifest.json /opt/cloudera/parcel-repo/
注意,下载的文件CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1,要从新命名为CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha,不然在后面安装时,系统会从新下载CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha文件
6、启动cloudera-scm-server和cloudera-scm-agent
# hd1 启动服务端 /opt/cm-5.11.1/etc/init.d/cloudera-scm-server start # hd1,hd2,hd3,hd4 启动Agent服务 /opt/cm-5.11.1/etc/init.d/cloudera-scm-agent start
若是须要中止服务则使用stop参数,重启则是restart参数
7、启动CDH5安装配置页面
在Cloudera Manager Server和Agent都成功启动之后,就能够进入CDH5的安装配置页面了,经过使用浏览器访问主节点的7180端口进入 http://hd1:7180
因为CM Server的启动须要一些时间,可能要等待一会才能访问,默认的用户名和密码均为admin
选择Cloudera Manager版本,这里选择Cloudera Express免费版本
选择主机
安装JDK,因为本地已安装,可点击Continue直接跳过
选择Parcels安装模式,以直接加载本地的CDH5 Parcel文件
配置安装的帐号和密码
开始进行安装
安装完成后,而后选择要安装的相关服务(例如HDFS、Yarn、Hive等等),按指导一步一步地安装配置便可,只须要在页面上配置就行,就能轻松部署好一个Hadoop集群,很是地直观、方便
至此,Cloudera Manager 5和CDH5(最新版5.13.0)的本地离线安装就已所有完成
欢迎关注本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),获取更多资讯