大数据生涯感悟

　　不知不觉，毕业一年半了，从实习开始接触大数据技术。那时懵懂的我，不对，应该说懵逼的我在想，卧槽，这是啥这么牛逼，我都不会啊。。。啥都不会完蛋了。。即使如今也是这样认为= =

　　今年仍是有不少变故的，不过丝毫没法阻挡我对技术的热情，这种热情犹如滔滔江水连绵不绝，哗啦啦啦啦啦啦~上图，让咱们看下大数据工程师要掌握的技能有哪些呢？

　　

　　乍一看吓尿了。。等我洗个澡先。。。

　　若是你愿意牺牲本身的全部时间去学习，研究，实践。我相信可以彻底掌握里面的全部东西，只不过这是个漫长的过程。我以为这张图仍是很形象的，左边表明工程开发，右边表明算法开发。大公司基本分工很是明确。但在这个多元化的社会上，假若你能掌握别人没有掌握，或者须要很高学习成本才能掌握的知识，那么你将会闪闪发光，犹如黑暗中的萤火虫，稻田里的金龟子~犹如太阳的光晕，犹如早起照射窗台的第一缕阳光，犹如~~好了好了。。咱们回归正题。

　　不少人说，这么多我勒个去，我不知道怎么学啊，从哪里开始啊。。那么我说下到如今为止，我的的学习之旅（仅我的）：

　　一、从2014年开始接触hadoop。。这是啥？买了本书（Hadoop Yarn权威指南）。。彻底懵逼看不懂，可是坚持下来把它看完，而后开始搭建环境，单节点，当运行起来的一瞬间简直爽死我了~（注意，你要有Linux基础）

　　二、开始看编程模型,MapReduce,MapReduce是啥。。好高大上啊，人老是对于未知的事物比较恐惧，但是恐惧也要看啊~看不懂也要看啊~搭开发环境，各类坑，我还没毕业好么，那么多工具，我怎么知道怎么用。。这报的啥错啊。。开始各类折腾。。

　　三、产品经理说，咱们要用spark！那是在2014年年末了，但其实最初调研的时候选用shark，由于那时候spark尚未商用，但最终仍是用了spark，在决定之时忽然spark1.3开始商用，加入DataFrame(固然那时候我是彻底懵逼，这是啥？）。。受经理培养，我开始Spark之旅。那时对hadoop已经有了基本认知。

　　四、进入2015年，项目已经开始进行spark开发，固然对于应用开发而言，彻底从0开始，因而咱们开始各类不要脸的去请教传说中的橘云分布式团队，我每次出差都买点东西孝敬他们老人家哈哈哈哈~~一点一点的学理论，一点一点的尝试，一点一点的问。这里要说下，作技术的，特别怕对方看不起本身，不敢问，怕被嘲笑。 其实真正热爱技术的，会对技术极度的热情，你要记住，丢人没有什么，再简单的学会了就是本身的了~因而开始买关于Spark的书，开始总结各类知识点，尝试，总结，尝试。

　　五、2015年毕业前夕，第一次去湖北项目上线，将传统的应用系统改造为支持spark的大数据项目。对于我这种初出茅庐的小菜比而言，我勒个擦，真实集群，数据中心180多台的集群，批处理，流处理，看得我眼花缭乱，好惧怕啊~~怕毛啊~直接就上了~部署各类调参数，出问题了甚至弄到晚上2点~北京的同事远程支持，各类前台后台的问题目不暇接，最终成功的上线~（这里有一点，搞技术的喜欢知根问底，在现场环境中，尤为是这种彻底大数据环境，你要的就是不要脸的去问，一点不明白就问，这样收获的即是对整个大数据体系的流程与过程的熟知）

　　六、2015年末，项目已经正常运行了一段时间了，在工做中不忘补习各类知识，完善知识体系，而后忽然一个点，我彷佛全通了。虽然这只是皮毛~慢慢的。。各个省市的上线，让我开始以为就那些东西（这是危险的预兆）

　　七、2016年初，因为某些缘由，来到了上海某银行，这里是彻底的大数据环境，当时其实有点惧怕，为何呢，由于虽然创建了大数据知识体系，可是实战经验仍是不足而我更多的是作spark，二话不说直接上手操练，各类折磨的天天12点之后还亮着灯。学习hbase,redis,storm,kafka以及更深刻hadoop。。有时甚至有放弃的想法，在巨大的压力下，天天顶着红牛，学，练习，学，练习。

　　八、现在，某个时刻，忽然又一次以为，貌似我全都会了！仿佛脑海中可以感觉到数据在各个组件中的传输，网络中的传输，何时会OOM，JVM占用，网络通讯。。。也再一次开始应用spark,这一次，让我激动地天天激情四射，为何呢？由于我发现曾经不少不懂的知识点，貌似全通了。。在寂静的夜晚，想着身边离开的人，默默地留下了眼泪，你怎么不等我。

　　总结：技术，是在不断地更新迭代，可是必定要有一套本身的知识体系，本身的理解，千万不要认为啊~我会写这个MapReduce了，我会写spark后台代码了，我会用hbase了，我会storm了，就沾沾自喜，看的更远一点更深一点，你会发现，原来我啥都不会，学无止境！ 坚持！坚持！坚持！坚持！再坚持！用你坚韧的毅力与激情，感染身边的人，影响身边的人。