Hadoop新手学习指导

时间 2019-11-06

原文原文链接

对于咱们新手入门学习hadoop大数据存储的朋友来讲，首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的：             云计算，是一种基于互联网的计算方式，经过这种方式，共享的软硬件资源和信息能够按需求提供给计算机和其余设备，主要是基于互联网的相关服务地增长、使用和交付模式，一般涉及经过互联网来提供动态易扩展且常常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中每每用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指经过网络以按需、易扩展的方式得到所需资源；广义云计算指服务地交付和使用模式，指经过网络以按需、易扩展的方式得到所需服务。这种服务能够是IT和软件、互联网相关，也但是其余服务。它意味着计算也可做为一种商品经过互联网进行流通。
     什么是云计算？
     什么是云计算技术？
   在世界上云计算已经大面流行，有很流行的Google Drive、SkyDrive、Dropbox、亚马逊云服务等等。在国内百度云存储、360云存储都是比较流行的。
   咱们就应该会想到大数据存储，目前开源市场上最流行的应该是hadoop分布式存储，已经有大部分互联网公司已经开始使用，例如百度、360、阿里巴巴，其中一部分公司已经把hadoop做为他们的核心产品例如英特尔、IBM并为部分工做提供过大数据的解决方案，你们能够了解一下英特尔在不行业提供的解决方案：
php

     Hadoop是一个可以对大量数据进行分布式处理的软件框架，它是一种技术的实现，是云计算技术中重要的组成部分，云计算的概念更普遍且偏向业务而不是必须拘泥于某项具体技术，云计算的存在只是一种新的商业计算模型和服务模式。所以，云计算才会出现“横当作岭侧成峰，远近高低各不一样”，各类各样层出不穷的理解。
hadoop 大数据之后的方向：超越Hadoop的大数据将来的研究方向
   因此hadoop在大数据方面之后是主流，对咱们想接触大数据的朋友是有必要学习hadoop的，对于初学的朋友：
   hadoop前景、毕业薪酬，你所关心的我想这些更是你们想要关心的内容，也是初学朋友有必要的看的。

   对于初学hadoop的朋友来讲可能基于迫切寻找一本入门的书，我我的以为不用于急于寻找书，先了解hadoop是否作什么、它能作什么、能带来什么 hadoop使用场景、Hadoop到底能作什么？怎么用hadoop？，当你们对这些有所了解，就会如何入手学习hadoop
   接下来你们应该进行系统性的学习hadoop了，我我的建议不要盲目的去搭建hadoop环境，熟悉了解hadoop基本知识及其所须要的知识例如java基础、linux环境、linux经常使用命令，它相关产品及其衍生产品，他们之间是什么关系如何工做，每一个产品它们的特色是什么，下面是hadoop一些基本知识：
shell

上面这些都是hadoop核心部分，当这些有所了解后，你们基本上能够具有你们hadoop环境的条件了。

hadoop部署方式为单机模式、伪分布式、彻底分布式。对单机模式你们能够不用去关心和学习，在学习中我我的建议是搭建伪分布式，彻底分布式是生产环境中使用，当你们把伪分布式后，必须对彻底分布式有所了解，知道是如何工做的，也能够试着搭建hadoop的完成分布式。如今hadoop已经发行了最新的2.2.x版本，可是不测试不够全面不够稳定，你们应该选择比较稳定的版本学习，由于在公司中仍是会使用稳定的版本，2.2.x版本中一些处理机制和方案是值得咱们学习的，须要全部了解， Hadoop 各个发布版的特性以及稳定性
下面是搭建hadoop的安装步骤。
搭建伪分布式：hadoop 伪分布式搭建彻底分布式：hadoop 三节点集群安装配置详细实例
你们安装完成后须要一些基本的练级:

hadoop shell命令介绍

你们这些有了基础性的学习后，这时候是比较适合找本书来系统性的学习hadoop。

Hadoop权威指南(第2版)
hadoop相关文档下载
about云资源汇总V1.2 在这里能够下载到你们全部须要学习的相关资料

有一点想提醒初学的朋友，在学习hadoop开发的时候不要使用hadoop eclipse插件，这样会给你带来没必要要的问题，你能够在eclipse使用maven工具下载hadoop资源包，而后写好mapreduce代码打包后传上本身的服务，使用命令启动运行。
到这里你们其实已经对hadoop有了系统性的认识和学习，我想后面的学习每一个人的学习方式都是不一样的，你们所须要的资料问题在论坛上均可以找的到。祝你们学习hadoop愉快。

还有篇文章不得不看，从另外角度阐述该如何学习hadoop，能够查看零基础学习hadoop到上手工做线路指导