个人spark学习之路(一）

2016.8.10

其实北京一年，我也一直在考虑我回所到底研究什么方向，但都只是停留在想一想的层次，最终也没什么结果，回来老师问了个人想法说，学分布式计算吧，读博也能够，找工做也好找，文章也好发，我一想，这感情好啊，既符合我搞开发的兴趣，文章也不难发，毕业了还有两个选择，简直是三全其美啊。虽然老师给了我两个月的时间考虑，可是我基本就决定了，我必定要研究这个方向，因而就有了接下来的话题。

1、背景

1.北京打了一年酱油刚回来、什么都不会。
2.即将面临开题、压力山大。
3.老板告诉我学这个须要高智商，须要学不少东西，须要能坚持下去。

就在这样的背景下，开始了个人受虐之路

2、迷茫

第一天

自认为编程基础还不错的我就被虐的像个计算机小白同样。
之前你服务器接触的是什么类型，Linux?
没有，没接触过。
……
之前你都是用什么写网页的？
javascript。
…….
contOS你了解吗？
昨天在网上刚看到过。
……

那天我被本身并不能听的懂的英语视频毒害了一天。

（下午我终于拿到本身的电脑了，可是为何是Linux操做系统？我悲剧的发现本身不知道怎么切换到中文输入法。）

次日

这一天我被老师叫去继续向魏老师学习，我坐在旁边很迷茫的看着投影，不知道魏老师在干什么。后面我就本身上网查资料去了，看了无数的hadoop安装教程，可是最让我纠结的仍是谁能告诉我centOS,ubuntu,hadoop，
docker，VM这些东西到底什么关系啊，

这是一个在centOS上安装hadoop的步骤，看到它我首先想的是：不是说安装hadoop么，怎么又成为CDH了，CDH又是什么鬼？而后是：安装centOS？centOS不是个操做系统么，怎么都安装vmware了才安装操做系统，没有操做系统vmware是怎么安装的？相比之下后面的几步却是好理解了。
那天我被这样简单到白痴的问题折磨了一成天。

3、动手

第三天我在网上找了一个教程决定本身装。
http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/
这是一个基于Docker安装hadoop分布式集群的教程，写的很详细，我几乎照着它一路就做下去了。遗憾的是这一天仍是没弄好。（吐嘈一下，我以为后面这两天限制的进度的最大因素是那里的网太慢了）
第四天，花了一上午的时间终于照着教程作完了，我不知道算不算作好了，拿去专门找魏老师认证了一下，当他告诉我应该算好了的时候，个人想法是好像也不难啊，为何吴老师给我看的教程写的那么复杂。
晚上回到办公室把本身作的成果拿出来看了又看，激动之余发现个人结果好像和教程不太同样，我执行hadoop dfsadmin -report这个命令后虽然没有报错，但显示个人datanode为0 （正确的应该是2）为了这个问题我把原来作好的容器删了又作了一次，结果仍是不对，最后查了好多资料发现缘由是我没有修改两个slave的slaves文件。

hadoop布署好以后我想是否是该装spark了（由于我告诉老师hadoop以后他问了我一句：”Spark也装好了？”）。

有了hadoop的前车可鉴，找个教程直接开装spark。
先找的是马踏飞燕——奔跑在Docker上的Spark
虽然照着这个教程作完了，不过这个写的有点简单，中间我都是本身估摸的作的，最终也作完了，但打开spark-shell总是报错，一直找不到错误又从新找了个教程——spark1.6分布式集群环境搭建
最终照着这个教程完成了spark的布署

4、我想

回想了本身安装spark、hadoop的过程，虽然不是一路顺风，但也不算历尽磨难。hadoop花了两天的时间，算上解决后面的小问题（没有datanode）不到三天的时间，而spark花了一天时间就装好了。
在动手作的过程当中，前面让我迷茫的问题也迎刃而解了。看来任何事情仍是要动手啊。
我想，前两天之因此后迷茫应该是干任何一行都要经历的入门阶段吧（虽然我如今也不算入门），回想本身刚开始学编程不也是那样。那个时候，听到的一些名词都是新的，每一点进步是千难万难。虽然如此，我想我会继续下去并努力取得成功。

5、再迷茫

hadoop、spark都装好了，可是在查资料的过程当中，我又看到不少新名词，因此我再次迷茫了。yarn,zookeeper,hbase,hive,standalon这些都是什么鬼？和hadoop有什么关系？我要不要进一步了解？刚才和魏老师交流了，他让我先了解就好了，之后用的时候天然会知道。

时间仓促，保安都上来赶人了，就写到这儿吧。