Hadoop概念学习系列之Hadoop、Spark学习路线（很值得推荐）

转自：https://www.cnblogs.com/zlslch/p/5448857.html

 

很少说，直接上干货！

 

 

说在前面的话

　　此笔，对于仅对于Hadoop和Spark初中学者。高手请忽略！

 

 

 

1 Java基础：

    视频方面：
          推荐《毕向东JAVA基础视频教程》。学习hadoop不须要过分的深刻，java学习到javase，在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化多多理解实践便可。

    书籍方面：

          推荐李兴华的《java开发实战经典》

 

 

2 Linux基础：

    视频方面：

           （1）马哥的高薪Linux视频课程-Linux入门、

　　　（2）兄弟连的新版Linux视频教程、

           （3）老段的讲解鸟哥Linux基础+私房菜、

           （4）老男孩的Linux。

           看的过程当中，不可只看不一样步操做，这是最危险的一件事！不需所有看完。如：基本的Linux操做系统官网下载、安装（命令行界面和图形界面）、基本命令、网络配置、快照、VM tools工具安装、虚拟机的菜单熟悉等等。这是必需要首先完成的。以后，可回过来再根据须要使用到哪些，再来学习便可。看成工具书！

    书籍方面：

            （1）《鸟哥的linux私房菜》,

            （2）以后，进一步能够看书籍《鸟哥的服务架设篇》。

            （3）Linux随身指南

　　　　 （4）老男孩Linux运维

       系统学习只要多多实践，学习linux并不枯燥。

 

 

3 hadoop书籍：

            （1）《Hadoop实战  (第1版)  陆嘉恒》、《Hadoop实战  (第2版)  陆嘉恒》

            （2） 《hadoop definitive guide 》，

                  中文书名是《Hadoop权威指南 （第1版）曾大聃译》，《Hadoop权威指南 (第2版) 周敏奇译》，《Hadoop权威指南 （第3版 ） 华东师范大学数据科学与工程学院译》，固然如今应该是第4版了。

            （3）Hadoop技术内幕：《深刻解析Hadoop common和HDFS架构设计与实现原理》 蔡斌  

            （4）hadoop技术内幕：《深刻解析YARN架构设计与实现原理》董西成  

            （5）Hadoop技术内幕：《深刻理解MapReduce架构设计与实现原理》 董西成 

            （5）《Hadoop in Action》,

                    中文书名是《Hadoop实战》，

            （6） 《Hadoop应用开发技术详解    刘刚》 

            （7）《Hadoop 核心技术》 翟周伟 

      日常多看看hadoop的官网，虽然是官网，但尽可能多学习计算机方面的单词，对后续学习帮助极大。

      日常多看看他人的博客和社区论坛。
      日常多总结和作好笔记，及时回过头来再次屡次整理。

 

 

4 Maven书籍：

        强烈推荐书籍：Maven实战   许晓斌著。目前是初版 

 

 

五、spark书籍：

　　　　（1）《Spark大数据处理  技术、应用与性能优化   高彦杰》

　　　　（2）《深刻理解Spark核心思想与源码分析   耿嘉安》

              （3）《图解Spark：核心技术与案例实战》

 

 

 

 

摘要: 致目前想要学习大数据，可是却不了解大数据，也不知道该从哪开始学起的同窗，但愿这篇文章可以帮到大家。

 

　　最近群里有不少朋友问我，"初学大数据，不知道怎么开始学"，"不知道大数据具体是什么东西，只是据说很厉害的样子"，"学习大数据，须要学习哪些框架，只学习spark能够吗？" 等等...相似的问题，针对这些问题，一两句话解释不清楚，因此，就在这里写一些我本身的见解吧，但愿能够帮助到初学者的你。

 

大数据初学者，总结下来，大体有这么几种状况：

• 跨行业转过来的(这一种是最难的，以前可能都没接触过编程，这种属于真正的0基础)
• 即将毕业的大四学员(包含计算机专业或者其余专业，这一种稍微好点，最起码大学的时候多少会接触一点编程)
• 有软件开发经验的老司机(包含，javaweb，.net，c 等)

 

 

　　上面这几种状况的同窗都有一个共性，对大数据都是0基础，相对而言，有软件开发经验的老司机学习起来不会很吃力，其他的刚开始学起来会比较吃力，但只要肯比别人多花点时间，多下点功夫，其实并无你想象的那么难。有付出，才会有回报！

　　好了，废话很少说了，下面就直接说一下，针对全部大数据初学者的一些学习建议吧【适用于上面三种基础的同窗】

 

 

大数据是什么?

　　有不少朋友问过我，大数据究竟是什么？一句话来归纳

• 针对非软件行业的朋友
• 根据你平时在超市，加油站，饭店等地方的一些消费行为，经过大数据这个技术，咱们能够知道你如今的年龄范围，是否婚配，是否有孩子，孩子大体是几岁，是否有固定住宅，车大体是什么价位的等信息。
• 针对软件行业的朋友
  • 平时咱们写的程序都是在一台机器上运行，处理能力有限，固然，数据量也是有限的。大数据这个技术，其实就是能够实现把咱们的代码分布在不少台机器上去并行处理海量的数据，而后从这些海量数据中获取有价值，有意义的信息。

 

学习大数据须要的基本功

　　1. linux基础是必须的，最起码须要掌握linux命令行下的基本操做命令

　　2. javase基础【包含mysql】，注意是javase，不是javaee。javaweb那一块的知识针对大数据工程师而言不是必须的

 

 

大数据技术板块划分

• 数据采集
  • flume kafka logstash filebeat ...
• 数据存储
  • mysql redis hbase hdfs ...
    • 虽然mysql不属于大数据范畴 可是我在这也列出来了，由于你在工做中离不开它
• 数据查询
  • hive impala elasticsearch kylin ...
• 数据计算
  • 实时计算
    • storm sparkstreaming flink ...
  • 离线计算
    • hadoop spark ...
• 其余框架
  • zookeeper ...

 

 

下面有一张图，大体列出来了大数据生态圈周边的一些技术框架[不够全面，仅供参考]

　　其实这张图中主要列出来了hadoop生态圈的框架，后期有时间的话从新整理一份完整的 。

 

 

 　　这个图中列出来了不少框架，其实，学习大数据，就是要学习大数据生态圈周边的各类框架。

 

 

 

 

大数据学习步骤

　　上面虽然列出来了不少框架，可是最开始学习的时候不必所有都学，就算是在工做中，这些框架也不必定会所有用到。

　　下面我就大体列一下，各类框架的一个学习步骤吧：

　　注意：下面列出来的顺序只是我的建议，能够根据我的实际状况来调整顺序

0. linux基础和javase基础【包含mysql】

   • 这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各类框架的时候都会用到，用多了就熟悉了。javase的话建议主要看面向对象，集合，io，多线程，以及jdbc操做便可。

1. zookeeper

   • zookeeper是不少大数据框架的基础，中文名称是动物园的意思，由于目前的大数据框架的图标不少都是动物的形状，因此zookeeper其实就是能够管理不少大数据框架的。针对这个框架，主要掌握如何搭建单节点和集群，以及掌握如何在zkcli客户端下对zookeeper的节点进行增删改查操做便可。

2. hadoop

   • 目前企业中通常都是用hadoop2.x的版本了，因此就没有必要再去学hadoop1.x版本了，hadoop2.x主要包含三大块
     • hdfs 前期，主要学习hdfs的一些命令便可，上传，下载，删除，移动，查看等命令...
     • mapreduce 这个须要重点学习下，要理解mr的原理以及代码实现，虽然如今工做中真正写mr的代码次数不多了，可是原理仍是要理解的。
     • yarn 前期了解便可，只须要知道yarn是一个资源调度平台，主要负责给任务分配资源便可，yarn不只能够给mapreduce任务调度资源，还能够为spark任务调度资源...yarn是一个公共的资源调度平台，全部知足条件的框架均可以使用yarn来进行资源调度。

3. hive

   • hive是一个数据仓库，全部的数据都是存储在hdfs上的，具体【数据仓库和数据库】的区别你们能够去网上搜索一下，有不少介绍。其实若是对mysql的使用比较熟悉的话，使用hive也就简单不少了，使用hive主要是写hql，hql是hive的sql语言，很是相似于mysql数据库的sql，后续学习hive的时候主要理解一些hive的语法特性便可。其实hive在执行hql，底层在执行的时候仍是执行的mapredce程序。
   • 注意：其实hive自己是很强大的，数据仓库的设计在工做中也是很重要的，可是前期学习的时候，主要先学会如何使用就行了。后期能够好好研究一下hive。

4. hbase

   • hbase是一个nosql 数据库，是一个key-value类型的数据库，底层的数据存储在hdfs上。在学习hbase的时候主要掌握 row-key的设计，以及列簇的设计。要注意一个特色就是，hbase基于rowkey查询效率很快，能够达到秒级查询，可是基于列簇中的列进行查询，特别是组合查询的时候，若是数据量很大的话，查询性能会不好。

5. redis

   • redis也是一个nosql 数据库和key-value类型的数据库，可是这个数据库是纯基于内存的，也就是redis数据库中的数据都是存储在内存中的，因此它的一个特色就是适用于快速读写的应用场景，读写能够达到10W次/秒，可是不适合存储海量数据，毕竟机器的内存是有限的，固然，redis也支持集群，也能够存储大量数据。在学习redis的时候主要掌握string，list，set，sortedset，hashmap这几种数据类型的区别以及使用，还有pipeline管道，这个在批量入库数据的时候是很是有用的，以及transaction事务功能。

6. flume

   • flume是一个日志采集工具，这个仍是比较经常使用的，最多见的就是采集应用产生的日志文件中的数据。通常有两个流程，一个是flume采集数据存储到kafka中，为了后面使用storm或者sparkstreaming进行实时处理。另外一个流程是flume采集的数据落盘到hdfs上，为了后期使用hadoop或者spark进行离线处理。在学习flume的时候其实主要就是学会看flume官网的文档，学习各类组建的配置参数，由于使用flume就是写各类的配置。

7. kafka

   • kafka 是一个消息队列，在工做中经常使用于实时处理的场景中，做为一个中间缓冲层，例如，flume->kafka->storm/sparkstreaming。学习kafka主要掌握topic，partition，replicate等的概念和原理。

8. storm

   • storm是一个实时计算框架，和hadoop的区别就是，hadoop是对离线的海量数据进行处理，而storm是对实时新增的每一条数据进行处理，是一条一条的处理，能够保证数据处理的时效性。学习storm主要学习topology的编写，storm并行度的调整，以及storm如何整合kafka实时消费数据。

9. spark

   • spark 如今发展的也很不错，也发展成了一个生态圈，spark里面包含不少技术，spark core，spark steaming，spark mlib，spark graphx。
   • spark生态圈里面包含的有离线处理spark core，和实时处理spark streaming，在这里须要注意一下，storm和spark streaming ，两个都是实时处理框架，可是主要区别是：storm是真正的一条一条的处理，而spark streaming 是一批一批的处理。
   • spark中包含不少框架，在刚开始学习的时候主要学习spark core和spark streaming便可。这个通常搞大数据的都会用到。spark mlib和spark graphx 能够等后期工做须要或者有时间了在研究便可。

10. elasticsearch

    • elasticsearch是一个适合海量数据实时查询的全文搜索引擎，支持分布式集群，其实底层是基于lucene的。在查询的时候支持快速模糊查询，求count，distinct，sum，avg等操做，可是不支持join操做。elasticsearch目前也有一个生态圈，elk(elasticsearch logstash kibana)是一个典型的日志收集，存储，快速查询出图表的一整套解决方案。在学习elasticsearch的时候，前期主要学习如何使用es进行增删改查，es中的index，type，document的概念，以及es中的mapping的设计。

 

　　目前暂且列出来这么多吧，大数据生态圈目前还有不少比较好的技术框架，这个就须要等你们之后工做以后再去扩展了。

　　其实上面列出来的这十几个框架，在学习的时候，要专门挑一两个着重研究一下，最好针对，底层原理，优化，源码等部分有所涉猎，这么的话能够在面试过程当中脱颖而出。不要想着把每个框架都搞精通，目前是不现实的，其实就算是在工做中也不会每个框架都会用的很深。

　　若是能过对上面的框架都大体会使用，而且对某一两个框架研究的比较深的话，其实想去找一份满意的大数据工做也就水到渠成了。

　　上面说的这么多，是根据博主最近几年的一些经验总结吧，若是你们有什么观点能够在下面留言讨论。

 

 　  最终，你们仍是要落于找项目来提高本身，必需要有作项目的经验。如今互联网时代，别跟我说，找不到学习的资源。谷歌百度你懂的... !!!

 

　　其实，说白了，你们仍是要在入门以后，有了必定经验，更多仍是要去看官网。这是最重要！包括动手去实践，多敲命令！

 

 

 

 

 

 

　福利：　欢迎你们，加入我建立的公益技术交流群   和  我的微信公众号 ，必须免费！

如何走上更高平台分享传递干货知识：（开通我的微信公众号：大数据躺过的坑）（图文详解）（博主推荐）

 

 

 

 

 

 

 

 

 

 

 

 

 

欢迎你们，加入个人微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，你们能够关注个人我的博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和我的学习工做的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及日常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，天天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071） 

 

 

 

 

 

 

 

 

 

 

 

 

做者：大数据和人工智能躺过的坑
出处：http://www.cnblogs.com/zlslch/ 本文版权归做者和博客园共有，欢迎转载，但未经做者赞成必须保留此段声明，且在文章页面明显位置给出原文连接，不然保留追究法律责任的权利。 若是您认为这篇文章还不错或者有所收获，您能够经过右边的“打赏”功能 打赏我一杯咖啡【物质支持】，也能够点击右下角的【好文要顶】按钮【精神支持】，由于这两种支持都是我继续写做，分享的最大动力！