舒适提示：要看高清无码套图，请使用手机打开并单击图片放大查看。css
Fayson的github：https://github.com/fayson/cdhprojecthtml
提示：代码块部分能够左右滑动查看噢java
1.文档编写目的git
在CDH集群中spark1和Spark2版本能够共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现须要将CDH集群中Spark2的版本升级至Spark2.2最新，本篇文章主要介绍如何经过Cloudera Manager将Spark2.1版本升级至Spark2.2。github
内容概述sql
1.升级准备shell
2.升级Spark版本及验证apache
3.总结json
测试环境ruby
1.CM和CDH版本为5.13.1
2.Spark on Yarn部署
前置条件
1.集群JAVA版本已升级至1.8
2.升级准备
1.下载Spark2.2的parcel包及csd文件，以下下载地址
csd文件下载地址：
http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jar
（可左右滑动）
parcel包下载地址：
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera2/manifest.json
（可左右滑动）
2.部署Spark2.2的parcel包
将下载的parcel包部署在http服务的/var/www/html/spark2.2目录下
3.测试是不parcel是否部署成功
4.部署csd文件
将下载好的csd文件拷贝至/opt/cloudera/csd目录下，并修改文件属主为cloudera-scm
[root@ip-172-31-6-148 csd]# chown cloudera-scm. SPARK2_ON_YARN-2.2.0.cloudera2.jar
（可左右滑动）
注意：若是csd目录下有其它Spark版本的csd文件须要移除。
5.完成以上部署后，重启cloudera-scm-server服务
[root@ip-172-31-6-148 csd]# service cloudera-scm-server restart
Stopping cloudera-scm-server: [ OK ]
Starting cloudera-scm-server: [ OK ]
[root@ip-172-31-6-148 csd]#
（可左右滑动）
6.使用管理员登陆到Cloudera Manager的Web控制台根据提示重启Cloudera Management Service服务
3.升级Spark2.2
1.当前CDH集群中激活的Spark版本为2.1.0
安装的Spark版本为2.1.0
命令行运行确认Spark2版本
2.配置Spark2.2版本的parcel库地址
能够看到Spark的parcel中显示了2.2的版本。
3.点击下载、分配Spark2.2版本
4.点击“激活”Spark2.2的parcel包
重启成功
5.Parcel显示为已激活状态
6.配置Spark2的JAVA环境变量
保存配置，并从新部署客户端配置
至此已完成Spark2.2的升级
4.验证Spark版本
1.在命令行运行spark2-shell命令，验证Spark版本
2.运行一个Spark2的做业
spark2-submit --class org.apache.spark.examples.SparkPi\
--master yarn-client --num-executors 4 --driver-memory 2g\
--driver-cores 1 --executor-memory 2g --executor-cores 1\
/opt/cloudera/parcels/SPARK2/lib/spark2/examples/jars/spark-examples_2.11-2.2.0.cloudera2.jar 5
（可左右滑动）
做业执行成功，查看Yarn的8088界面
5.常见问题
在命令行运行spark2-shell命令报以下异常：
[root@ip-172-31-6-148 ~]# spark2-shell
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482)
[root@ip-172-31-6-148 ~]#
（可左右滑动）
解决方式：在Spark2的配置项“客户端高级配置代码片断”中增长JAVA的环境变量且必须为1.8版本。
6.总结
升级Spark2.2版本的前提是已将CDH集群的JAVA升级到1.8版本，具体能够参考Fayson前面的文章《如何将CDH集群JAVA升级至JDK8》和《如何将Kerberos环境下CDH集群JAVA升级至JDK8》。
升级Spark2.2时须要注意CSD文件是否与parcel版本一致，且在/opt/cloudera/csd目录下只能存在一个Spark的CSD文件。
在升级到Spark2.2后须要指定JAVA的环境变量，因为集群使用的是Spark ON Yarn模式，因此文章中只须要在“客户端高级配置代码片断”中增长JAVA的环境变量。
提示：代码块部分能够左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。
舒适提示：要看高清无码套图，请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
本文分享自微信公众号 - Hadoop实操（gh_c4c535955d0f）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。