【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代”

Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】

 

Q1:spark线上用什么版本好？

• 建议从最低使用的Spark 1.0.0版本，Spark在1.0.0开始核心API已经稳定；

• 从功能的角度考虑使用最新版本的Spark 1.0.2也是很是好的，Spark 1.0.2在Spark 1.0.1的基础上作了很是多的改进；

• Spark 1.0.2改进参考 http://spark.apache.org/releases/spark-release-1-0-2.html

 

Q2:但愿能够细细讲讲推荐系统

• 推荐系统是机器学习中主要用武之地，Spark亚太研究院决胜大数据时代100期公益大讲堂后续会至少开设三期专题细细讲解；

 

Q3:用yarn  mesos  standalone   这几种方式那种用在线上好？spark线上用什么版本好？

• 若是之前没有部署过其它的大数据集群，集群中的计算框架只有Spark，建议直接使用Standalone，简洁而高效，这样有利于得到最大化的集群执行效率；

• 若是集群中在运行Spark计算平台的同时还运行了Hadoop的MapReduce、Storm等其它框架，建议使用mesos或者yarn；

• 在中国建议使用Yarn，由于淘宝已经在生产环境下大规模的使用了Yarn，同时Yarn有很是的中文资料；

 

Q4:机器学习是否是须要很深的数学功底仍是别人实现了 能运行跑起来就ok啦？？

• Spark的MLLib极大的简化了机器学习库的使用，若是只是简单的使用，不要数学功底，只须要按照官方的示例直接使用便可。

• 若是进行复制的算法实现，须要数学功底，例如线性代数、统计学等

 

Q5:仍是要深刻学习机器学习的那些算法？

• 从实际应用的角度考虑，最重要的机器学习算法时协同过滤，基于协同过滤的推荐系统在应用系统中有普遍的应用，须要最为第一重点掌握；

• 分类、聚类、线性回归等也是很是经常使用而重要的；

   

Q6:请教下，若是目前应用主要是结构化数据的ORCALE，语言是PLSQL，转换到SPARKSQL是否难度很大，须要彻底代码重写呢？

• 在实际生产环境下，数据和大数据系统是并行存在的，数据库通常直接负责线上交互，大数据系统负责数据分析、实时流处理、交互式查询等；

• 若是熟练使用PLSQL，能够垂手可得的掌握Spark SQL

• Spark SQL的内容能够参考http://edu.51cto.com/lesson/id-33429.html