CDH+Kylin三部曲之一：准备工做

欢迎访问个人GitHub

https://github.com/zq2599/blog_demos

内容：全部原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

关于《CDH+Kylin三部曲》系列

本文是《CDH+Kylin三部曲》的第一篇，整个系列由如下三篇组成：

1. 准备工做：搭建CDH+Kylin环境前，将全部硬件、软件资源准备好
2. 部署和设置：部署CDH和Kylin，再作相关设置
3. Kylin实战：在搭好的环境上运行Kylin官方demo

整个三部曲的实战内容以下图所示：

接下来，就从最基本的准备工做开始吧。

关于CDH与Kylin

1. Kylin的运行须要Hadoop、Hive、HBase等服务，所以用CDH来集中部署这些应用更为方便，下图来自Kylin官方，可见是支持CDH的：

2. 官方说支持CDH6.0版本，但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题，经尝试发现Kylin2.6+CDH5.16能够正常运行，本次实战就用这样的版本搭配；

部署方式

ansible是经常使用的运维工具，可大幅度简化整个部署过程，接下来会使用ansible来完成部署工做，若是您对ansible还不够了解，请参考《ansible2.4安装和体验》，部署操做以下图所示，在一台安装了ansible的电脑上运行脚本，由ansible远程链接到一台CentOS7.7的服务器上，完成部署工做：

硬件准备

1. 一部能运行ansible的电脑，我用的是MacBook Pro，也用CentOS验证过，都能顺利完成部署；
2. 一台CentOS7.7电脑，用于运行HDFS、Hive、HBase、Spark、Kylin等全部服务(后续文中的CDH服务器就是指该电脑)，用一台机器部署全部服务仅适用于学习和开发阶段，实测发现，此电脑CPU至少要双核，内存不低于16G，若是您想用多台电脑部署CDH，建议自行修改ansible脚原本分别部署，脚本地址后面会给出；

CDH服务器设置

须要登陆CDH服务器作如下设置：

1. 检查/etc/hostname文件是否正确，以下图：
   
2. 修改/etc/hosts文件，将本身的IP地址和hostname配置上去，以下图红框所示（事实证实这一步很重要，若是不作可能致使在部署时一直卡在"分配"阶段，看agent日志显示agent下载parcel的进度一直是百分之零）：
   

下载文件(ansible电脑)

本次实战一共要准备13个文件，这里用表格列举以下：

编号	文件名	简介
1	jdk-8u191-linux-x64.tar.gz	Linux版的jdk安装包
2	mysql-connector-java-5.1.34.jar	mysql的JDBC驱动
3	cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm	cm的server安装包
4	cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm	cm的daemon安装包
5	cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm	cm的agent安装包
6	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel	CDH应用离线安装包
7	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha	CDH应用离线安装包sha验证码
8	apache-kylin-2.6.4-bin-cdh57.tar.gz	kylin安装包(适配CDH版本)
9	hosts	ansible用到的远程主机配置，里面记录了CDH6服务器的信息
10	ansible.cfg	ansible用到的配置信息
11	cm6-cdh5-kylin264-single-install.yml	部署CDH时用到的ansible脚本
12	cdh-single-start.yml	初次启动CDH时用到的ansible脚本
13	var.yml	脚本中用到的变量都在在此设值， 例如CDH包名、flink文件名等，便于维护

下面是每一个文件的下载地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官网可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一块儿打包上传到csdn，您能够一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar：maven中央仓库可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一块儿打包上传到csdn，您能够一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1为.sha）

8. apache-kylin-2.6.4-bin-cdh57.tar.gz：https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz

9. hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml ：这五个文件都保存在个人GitHub仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为ansible-cm6-cdh5-kylin264-single的文件夹中，以下图红框所示：
   

文件摆放(ansible电脑)

若是您已经下载好了上述13个文件，请按照以下位置摆放，这样才能顺利完成部署：

1. 在家目录下新建名为playbooks的文件夹：mkdir ~/playbooks
2. 把这五个文件放入playbooks文件夹：hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml
3. 在playbooks文件夹里新建名为cdh6的子文件夹；
4. 把这八个文件放入cdh6文件夹(即剩余的八个)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、apache-kylin-2.6.4-bin-cdh57.tar.gz
5. 摆放完毕后目录和文件状况以下图，再次提醒：文件夹playbooks必定要放在家目录下（即：~/）：
   

ansible参数设置(ansible电脑)

ansible参数设置的操做设置很简单：配置好CDH服务器的访问参数便可，包括IP地址、登陆帐号、密码等，修改~/playbooks/hosts文件，内容以下所示，您须要根据自身状况修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

至此，全部准备工做已完成，下一篇文章咱们将完成这些操做：

1. 部署CDH和Kylin
2. 启动CDH
3. 设置CDH、在线安装Yarn、HDFS等
4. 调整HDFS、Yarn参数
5. 修改Spark设置(不然Kylin启动会失败)
6. 启动Kylin

欢迎关注公众号：程序员欣宸

微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界...
https://github.com/zq2599/blog_demos