CDH5.13离线并行安装Spark2.3

简介：

在个人CDH5.13集群中，默认安装的spark是1.6版本，这里须要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是能够并行安装的，也就是说能够不用删除默认的1.6版本，能够直接安装2.x版本，它们各自用的端口也是不同的。这里作一下安装spark2.3版本的步骤记录。

一. 安装准备

1. csd包：http://archive.cloudera.com/spark2/csd/

 

1. parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

 

注意，下载对应版本的包，个人CentOS7，因此下载el7的包，如果CentOS6，就要下el6的包。

特别注意，若是你安装spark2.3，按照上面下载就是了，注意一下操做系统的版本；若是你不打算安装spark2.3，想安装其余版本，好比2.0，那么必定要注意下面的事项：
若是你仔细浏览过这些路径，会发现下图中，csd和parcel包会有.clouderal1和.clouderal2之分，和2.0与2.1版本之分，那么在下载parcel时也要注意，下载对应的包。即若是下载到的是.clouderal1的csd包，下载parcel包也要下载文件名中是.clouderal1的包，不能下载.clouderal2的包，同时csd2.0的包也不能用于parcel2.1的包，否则极可能安不上

 

 

 

二. 开始安装

1.安装前能够停掉集群和Cloudera Management Service

 

中止CDH服务

 

 

中止CM服务

2.下面的操做在每一个CDH节点都要进行。

3.上传CSD包到机器的/opt/cloudera/csd目录，而且修改文件的用户和组。注意若是本目录下有其余的jar包，把删掉或者移到其余目录

[root@hadoop1 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar 
[root@hadoop1 csd]# ll
-rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 23 00:30 SPARK2_ON_YARN-2.3.0.cloudera2.jar

 

4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。

注意。若是有其余的安装包，不用删除 。可是若是本目录下有其余的重名文件好比manifest.json文件，把它重命名备份掉。而后把那3个parcel包的文件放在这里。

SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
manifest.json

 

5.若是刚刚没有停掉CM和集群，如今将他们停掉。而后运行命令。

[root@hadoop1 opt]# /opt/cm-5.13.3/etc/init.d/cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]
[root@hadoop1 opt]# /opt/cm-5.13.3/etc/init.d/cloudera-scm-agent restart
Stopping cloudera-scm-agent:                               [  OK  ]
Starting cloudera-scm-agent:                               [  OK  ]

 

6.把CM和集群启动起来。而后点击主机->Parcel页面，看是否多了个spark2的选项。以下图，你这里此时应该是分配按钮，点击，等待操做完成后，点击激活按钮

 

7.激活后，点击你的群集-》添加服务，添加spark2服务。注意，若是你这里看不到spark2服务，就请检查你的CSD包和parcel包是否对应，上面的步骤是否有漏掉。正常状况下，应该是能用了。

 

 

官方下载安装说明见：https://www.cloudera.com/downloads/spark2/2-3-r4.html

感谢您下载Apache Spark 2.3，下载说明以下。

安装或升级由Apache Spark提供支持的CDS

最低要求角色： 群集管理员  （也由彻底管理员提供）

由Apache Spark提供支持的CDS分为两个文件：  自定义服务描述符  文件和一个包，这两个文件都必须安装在群集上。

 

注意：  因为Apache Spark支持的CDS  和初始  主义CSD之间可能存在混淆  ，所以本文档中对自定义服务描述符（CSD）文件的引用使用术语  服务描述符。

 

 

安装由Apache Spark提供支持的CDS

注意：虽然Spark 1和Spark 2能够在同一个CDH群集中共存，但您不能在同一个Cloudera Manager实例中同时使用多个Spark 2版本。由同一Cloudera Manager Server管理的全部CDH群集必须使用与Apache Spark彻底相同的CDS版本。例如，您不能使用内置的CDH Spark服务，CDS 2.1服务和CDS 2.2服务。您必须只选择一个由Apache Spark版本提供支持的CDS 2。确保同时 在全部群集的全部计算机上安装或升级CDS 2  服务描述符和parcel。

CDS 2.2及更高版本仅须要JDK 8。若是您使用的是CD 2.2或更高版本，则必须从全部群集和网关主机中删除JDK 7以确保正常运行。

按照如下步骤安装Apache Spark支持的CDS：

1. 检查是否知足全部必备软件。若是没有，您可能须要先升级或安装其余软件组件。有关 详细信息，请参阅  Apache Spark要求的CDS。
2. 将Apache Spark服务描述符支持的CDS安装到Cloudera Manager中。重要提示：因为Apache Spark支持的CDS只能使用parcel机制进行安装，所以它只能在Cloudera Manager管理的集群上使用。此外，因为Cloudera Manager不支持在同一群集中使用parcel和包，所以若是您使用的是基于软件包的CDH安装，则没法使用CDS。
   1. 要下载受Apache Spark服务描述符支持的CDS，请在CDS可供下载的版本的版本信息表中  ，单击要安装的版本的服务描述符连接。
   2. 登陆到Cloudera Manager Server主机，并在 为服务描述符文件配置的位置复制由Apache Spark服务描述符提供的CDS  。
   3. 使用权限644将服务描述符的文件全部权设置为cloudera-scm：cloudera-scm。
   4. 使用如下命令从新启动Cloudera Manager Server：service cloudera-scm-server restart
3. 在Cloudera Manager Admin Console中，将包含Apache Spark parcel存储库的CDS添加   到宗地设置中的远程宗地存储库URL，如宗地  配置设置中所述。注意：若是Cloudera Manager Server没法访问Internet，则可使用由Apache Spark parcel文件提供的CDS：将它们放入  新的parcel存储库，而后将Cloudera Manager Server配置为以新建立的存储库为目标。
4. 下载由Apache Spark parcel提供支持的CDS，将parcel分发到群集中的主机，而后激活该parcel。请参阅  管理地块。
5. 将Spark 2服务添加  到您的群集。
   1. 在步骤＃1中，选择依赖项选项：
      • HDFS，YARN，ZooKeeper：若是您不须要访问Hive服务，请选择此选项。
      • HDFS，Hive，YARN，ZooKeeper：Hive是Spark服务的可选依赖项。若是您有Hive服务并但愿从Spark应用程序访问Hive表，请选择此选项以将Hive包含为依赖项，并使Hive客户端配置始终可供Spark应用程序使用。
   2. 在步骤＃2中，为Apache Spark自定义CDS Powered的角色分配时， 为每一个主机添加  网关角色。
   3. 请注意，历史服务器端口是18089而不是一般的18088。
   4. 完成添加Spark 2服务的步骤。
6. 单击Cloudera Manager徽标返回主页。
7. 单击以从新启动群集。

升级到由Apache Spark提供支持的CDS 2.3

注意：虽然Spark 1和Spark 2能够在同一个CDH群集中共存，但您不能在同一个Cloudera Manager实例中同时使用多个Spark 2版本。由同一Cloudera Manager Server管理的全部CDH群集必须使用与Apache Spark彻底相同的CDS版本。例如，您不能使用内置的CDH Spark服务，CDS 2.1服务和CDS 2.2服务。您必须只选择一个由Apache Spark版本提供支持的CDS 2。确保同时 在全部群集的全部计算机上安装或升级CDS 2  服务描述符和parcel。

CDS 2.2及更高版本仅须要JDK 8。若是您使用的是CD 2.2或更高版本，则必须从全部群集和网关主机中删除JDK 7以确保正常运行。

若是您已经在使用CDS 2.0,2.1或2.2，则如下是升级到由Apache Spark提供支持的CDS 2.3的步骤，同时保留已应用的Spark 2的任何非默认配置：

• 从/ opt / cloudera / csd中删除旧版本的CDS Powered by Apache Spark的服务描述符JAR。有关 每一个版本对应的JAR文件的名称，请参阅  Apache Spark版本，打包和下载信息支持的CDS。

• 将CDS 2.3的服务描述符JAR添加到/ opt / cloudera / csd。设置正确的权限和全部权。

• 从新启动cloudera-scm-server服务。

• 在Cloudera Manager中，取消激活与旧版CDS对应的宗地。

• 在Cloudera Manager中，激活与CDS 2.3对应的包裹。

• 重启服务并部署客户端配置。

 

请访问  Cloudera的Apache Spark页面  ，了解有关在Cloudera Enterprise上运行企业级Apache Spark的更多信息。

 

文档

• 关于CDS 2.3由Apache Spark提供支持