与朋友闲谈感悟

　　感悟：曾经一直对本身在组内的研究方向特别困惑，一方面师兄想让本身在组内研究Spark，但组内的师兄和导师对Spark并不太熟悉，另外也没有具体的任务驱动去完成这件事；另外一方面本身以为师兄对deep learning比较熟悉，跟着或许能学点东西。可是今日和同窗锦坤交流后又以为对于目前的本身来讲deep learning并不能作出什么特别有用的成就，这方向更适合搞研究而不是作工程，然而我对作研究的信息并不大，所以往deep learning这个方向走可能对之后的就业的帮助并不大。然而Spark的话，对于组内来讲王老师和师兄都是大力支持的，而上学期的我基本就是半玩半忽悠就走过来了，几乎没作什么对组内和对本身有用的实事，这点须要深刻地自我批评一番。抛开这个，Spark对于组内和未来走出去的就业方向来讲都是大有前途的，我是大数据方向的，学好数据处理的平台以及用好相应的构建，并学习一些数据分析和数据处理的方法，再结合Deep Learning等技术，这对于从此的发展确定大有裨益。

      从此该走哪条路线呢（碰到每一个新事物都尝试着去用一用）？1.将Spark生态圈的全部构建都使用一遍：包括开发包mllib，sparkSQL，sparkStreamming等，这个须要出一个每一个工具的使用归纳，性能分析的文档； 2.把Spark相应的论文和Spark submit上介绍的开发应用的视频和PPT好好研究一遍，这个须要总结Spark在理论，应用上所作的工做以及一些trick的文档；    3.将Spark实践中踩过的每一个坑记录下来并紧跟Spark社区的讨论和分析；    4.再次回到Spark的源码中，打Log分析Spark中不清楚的流程，最好这个搭建的流程须要时分布式的测试平台。    5.把Spark弄熟以后呢，要开始着手对Spark生态圈的整个框架作深刻研究，好比对YARN和HDFS的深刻研究，再一个就是一些NOSQL的数据库的分析探究。