零基础学习hadoop到上手工做线路指导（初级篇）

零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，可是培训机构的选择就让我很纠结。因此索性就本身学习了。整个过程整理一下，给你们参考，欢迎讨论，共同窗习。
从一开始什么都不懂，到可以搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop,没有太大的困难。
<ignore_js_op> 
首先总体说一下学习过程给你们借鉴：
首先查阅了资料，什么是hadoop，至于这方面，你能够参考这个帖子hadoop新手学习指导。对这个有了总体的认识以后开始下面内容。(新手请务必参考hadoop新手学习指导，不然后面可能看不懂)

咱们知道hadoop，有单机安装，伪分布安装和分布安装。
同时hadoop的环境是Linux，因此咱们还须要安装Linux系统。由于咱们的习惯是使用windows，因此对于Linux上来就安装软件之类的，困难度很大。而且咱们要搭建集群，须要多台硬件的，不可能为了搭建集群，去买三台电脑。

从成本和使用咱们须要懂虚拟化方面的知识。这里的虚拟化其实就是咱们须要懂得虚拟机的使用。由于hadoop安装在Linux中，才能真正发挥做用。因此咱们也不会使用windows。

(这里补充硬件的选择:最关键的是内存，2G内存是有点卡的,4G有点勉强的,8G用起来顺畅)

基于以上内容。因此咱们须要懂得
1.虚拟化
2.Linux
3.java基础

下面来详细介绍

1.虚拟化
刚开始学习，上来就安装了虚拟机wmware station,而后建立虚拟机，安装Linux。可是问题来了。虚拟机的网络难住，由于缺少这方面的知识，因此不得不停下来，学习虚拟机的网络，该怎么搞。虚拟机网络分为三种：
1.briage
2.host-only
3.nat
这不是很简单的吗？网上资料也很多。但是事情并无想象的那么简单，由于nat虽然能上网，可是虚拟系统没法和本局域网中的其余真实主机进行通信。桥接模式全都须要手工配置，并且这里还须要明白本身是本机拨号上网，仍是路由拨号上网。host-only建立一个与网内其余机器相隔离的虚拟系统，这个更不行。这些都不适合咱们的hadoop集群。hadoop要求主机与虚拟机与外部网络（能上网），这三者都是通的，在安装的过程当中，才不会遇到麻烦。
因此这就是虚拟化方面的困难。
下面总结了在虚拟化方面须要作的：


虚拟化零基础入门

此文章让你明白为何虚拟化，虚拟化的价值

虚拟机入门二，虚拟机的三种网络模式


详细介绍了虚拟化三种网络模式

搭建集群必备虚拟化网络知识


上面了解三种网络模式，这三种网络模式该如何才能上网。

对于上面你可能了解的还不够，下面我们论坛会员具体实践指导，能够与他们相互交流：

集群搭建：主机宽带拨号上网，虚拟机使用桥接模式，该如何ping通外网


集群搭建必备：虚拟机之一实现Host-only方式上网

集群搭建必备：nat模式设置静态ip，达到上网与主机相互通讯


上面是三种不一样网络模式下，如何达到，虚拟机，主机，网络三者互通。

上面的知识具有了咱们开始动手：
第一步：下载软件

VMware Workstation 10.0.0简体中文正式版官方下载地址
ubuntu-desktop 版：是图形界面
ubuntu-12.04-desktop-amd64
连接: http://pan.baidu.com/s/1eQxHLFO 密码: nnkv 

新手指导windows使用虚拟机安装Linux（ubuntu）：包括下载及安装指导
上面的帖子很齐全，包括wmware下载Linux桌面版下载。还有安装指导，包括下面须要讲解的Linux安装指导

第二步：
下载咱们就须要安装和使用

VMware workstation安装linux（ubuntu）配置详解

在这里咱们安装完毕虚拟机，安装完毕Linux，咱们须要返回第一步，进行网络设置。可是在网络设置中，咱们会遇到各类各样的困难，由于缺少Linux知识。

同时这里补充一些虚拟化的基础知识：
虚拟网卡概述


VMware虚拟机网络设置方法


虚拟机（Linux操做系统）三种网络模式切换遇到的问题

虚拟机安装Linux视频


2.Linux
2.一、Linux基础知识

对于Linux的学习也是一个过程，由于可能你连最简单的开机和关机命令都不会，更不要谈配置网络。这里面给你们提供刚开始学习所查阅的资料和经验总结。
首先咱们须要使用一些命令，进行网络配置，可是在网络配置中，这里面又必须懂得虚拟机的一些知识，因此前面的虚拟机知识须要掌握扎实一些。
对于网络配置：

集群搭建：主机宽带拨号上网，虚拟机使用桥接模式，该如何ping通外网


集群搭建必备：虚拟机之一实现Host-only方式上网

集群搭建必备：nat模式设置静态ip，达到上网与主机相互通讯


其实仍是上面三个，可是咱们会遇到各类不会的命令，即便能查到命令，咱们也不能使用。为何会这样，由于各类有的命令，是须要使用安装包的。咱们在配置网络过程当中，一样会遇到各类各样的奇怪的配置。在咱们的Linux的系统，不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。咱们配置完毕以后，有各类网络重启方式：

1. /etc/init.d/networking  restart

复制代码

这是一种网络重启方式，可是有时候并无论用。

那么这时候咱们遇到困难了，刚接触命令不起做用，该怎么办？

1. ifconfig eth0 down

复制代码

1. ifconfig eth0 up

复制代码

(这里一样须要明白，我这里使用的是eth0上网的，若是你使用的是eth1，就须要替换成eth1)

上面的两个命令能达到一样的效果。

在举一例：
咱们须要配置网络文件，在不少网络配置是使用下面的命令的

1. vim /etc/network/interfaces

复制代码

可是咱们看到下面错误

1. The program vim can be found in the following package:
2. vim
3. vim -gnome
4. vim-tiny
5. vim-gtk
6. vim-nox
7. Try:sudo apt-get install <select package>

复制代码

这和咱们看到的配置彻底不同。这是由于咱们安装Linux以后，并无安装vim包。因此咱们又遇到了困难。若是你熟悉Linux的话，这个根本不是问题。

1. vi /etc/network/interfaces

复制代码

上面命令迎刃而解。一个vim，一个vi。在咱们刚接触这些确定云里雾里，因此你须要首先有成就感，而后在慢慢接触。下面都是通过实践的内容，也算是经验，你们能够参考。

云技术基础：学习hadoop使用零基础linux(Ubuntu)笔记

搭建集群必知：Linux经常使用命令及修改文件总结（不断更新）    

Linux网络接口ifconfig命令及认识网络接口lo

linux入门详细介绍


虚拟机安装linux网络配置资料大全


解决遇到Linux网络配置，从熟悉网络配置文件入手（大致了解便可）


linux入门大全：包括零基础入门，Linux详细介绍


Linux重启方式init 0 init1 init 3 init 5 init 6 这几个启动级别都表明什么意思？

Ubuntu经常使用命令总结及修改DNS的多种方法总结

Linux关机各类关机命令总结


Linux基础必懂：eth0,eth1,eth2,lo是什么意思？

此篇文章帮助认识网卡，判断网卡是否启动，对于网络的也算是常识。

--------------------------------------------------------------------------------------------------------------------------------------------


linux中pwd命令详解
这是了解你所处路径的,起到辅助的做用。


linux之vi编辑器
此篇文章较为关键，由于常常用到，并且须要熟悉
编辑模式
命令模式
如何保存，如何退出等各类操做





linux yum命令详解


Linux下chkconfig命令详解
熟悉他的做用就是可以查看软件安装是否成功


2.一、Linux安装hadoop

上面切记浮躁，由于这也是上面一到两个月的总结。咱们不可能一天两天就能完成。因此上面须要咱们通过最起码彻底一周的时间。咱们熟悉了Linux命令，熟悉了网络知识。后面咱们进行的快多了。

部署集群，首先须要安装java，而后安装hadoop。

首先咱们仍是从零基础开始。

咱们须要下载和本地电脑相匹配的jdk，是32位的下载32位，是64位的下载64位。这里咱们从最简单的入手。在这过程当中，可能遇到问题的是环境变量的配置，形成命令不能识别。而这里你须要学习新的Linux知识。不过若是前面你已经配置完网络，有了这个基础，在学习新的知识，压力明显变小了。

下面给你们分享一下，在Linux中如何安装Java和hadoop。
（hadoop2搭建参考hadoop2.2彻底分布式最新高可靠安装文档


）
Hadoop安装过程：Hadoop单机环境搭建权威指南（ubuntu） 


安装完毕，咱们该怎么用，该怎么测试安装成功。

集群安装完毕，该如何测试和使用集群-hadoop单机



经过上面帖子，咱们很容易安装完成，若是是刚熟悉Linux，须要补充下面知识，才能顺利完成。

linux中Java jdk环境变量的含义

linux(ubuntu)安装Java jdk环境变量设置及小程序测试



Linux中source命令学习










今天在写点内容，以上我们已经会安装集群了，那么咱们就须要进入开发了。开发零基础，该如何，我们提供了相关的内容分别介绍下面文章
学习hadoop----java零基础学习线路指导视频(1)
这一篇咱们使用什么开发工具，甚至考虑使用什么操做系统。而后就是Java基础知识篇，包括变量、函数等。

学习hadoop---Java初级快读入门指导（2）
第一篇是属于思想篇，那么这一篇属于实战篇，经过不一样的方式，交给你怎么编写第一个小程序。

Java零基础：一步步教你如何使用eclipse建立项目及编写小程序实例
因为上面没有真正抽象出eclipse的使用，因此这里专门介绍了使用eclipse如何建立项目，及如何编写小程序实例


java基础：eclipse编程不得不知道的技巧
eclipse基本知识会了以后，咱们在项目，这些技巧至关有用，并且常常用到


hadoop开发方式总结及操做指导
这是第三篇，咱们上面熟悉以后，就能够开发hadoop。可是由于hadoop是属于分布式，因此若是对Java越是熟悉，可能产生的问题就会越多。这里总结了hadoop的开发方式。

下一篇：
零基础学习hadoop到上手工做线路指导（中级篇）

推荐篇：
零基础学习hadoop到上手工做线路指导（编程篇）