Cloudera Management添加spark2服务

用Cloudera Management管理集群时, 有时候在我们已经搭建了cdh版的集群, 又要用到spark2服务,在yarn上跑实时任务,而cdh集群中cdh中不包含spark2服务,因此需要另外下载。


目录

 

一、下载spark2的parcel包

二、上传至服务器

三、添加spark服务


一、下载spark2的parcel包

1、去这里http://archive.cloudera.com/spark2/下载

2、下载箭头指的三个文件,选择适合自己的操作系统,我是CentOS6,这里选择el6

3、下载对应csd jar包,csd版本要和parcel的版本严格对应,不对应会找不到spark服务


二、上传至服务器

1、上传下载的四个文件

2、把CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha1重命名为CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha

3、将 manifest.json、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel

三个文件,上传到/opt/cloudera/parcel-repo/下,把原来manifest.json重命名即可

4、将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下,csd目录需要手动创建


三、添加spark服务

1、停止集群和cms服务

2、重启server和各节点agent

/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-server restart

/opt/cloudera-manager/cm-5.12.2/etc/init.d/cloudera-scm-agent restart

3、去 parcel页面, 分配,激活

这里已经分配、激活了

4、添加spark服务

可以看到出现了spark2服务,选中服务,继续下一步,为spark2服务分配节点即可

5、选择节点,自定义分配角色, 一路next即可完成