Hadoop 伪分布式安装

在远程服务器建立hadoop用户

groupadd hadoop  添加一个组
useradd hadoop -g hadoop  添加用户

将编译好的hadoop文件上传至工做目录，我这里是/opt目录

hadoop也要设置环境变量，使用vi /etc/profile命令编辑添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

一样也要执行source /etc/profile使配置文件生效,而后执行命令使用命令chown -R hadoop:hadoop hadoop/将其全部者改成hadoop

修改hadoop的配置文件

1. 修改hadoop目录下的conf/hadoop-env.sh文件

　加入java的安装路径export JAVA_HOME=/opt/java/jdk

2. 把hadoop目录下的conf/core-site.xml文件修改为以下：

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/tmp</value>
    </property>

3. 把hadoop目录下的conf/ hdfs-site.xml文件修改为以下：

//由于是伪集群因此值是1,若是是集群，就是几台的值
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

4. 把hadoop目录下的conf/ mapred-site.xml文件修改为以下：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

运行hadoop

1. 格式化分布式文件系统

bin/hdfs namenode -format

2. Start NameNode daemon and DataNode daemon

sbin/start-dfs.sh

3.执行jps若是包含一下进程就是启动成功了：

3200 SecondaryNameNode
3271 JobTracker
3370 TaskTracker
3002 NameNode
3106 DataNode
5687 Jps

启动成功以后能够用浏览器访问（NameNode后台）：localhost:50070/

运行YARN

修改mapred-site.xml内容以下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Start ResourceManager daemon and NodeManager daemon：

sbin/start-yarn.sh

启动成功以后能够用浏览器访问（ResourceManager后台）：localhost:8088/

以前在云主机上安装一直觉得官方提供的压缩包是32位，原来官网从hadoop2.5版本开始就提供了64位。坑了好几天了。

查看hadoop是32位仍是64位：

/hadoop-2.7.0/lib/native$ file libhadoop.so.1.0.0  //hadoop的native目录

官方文档：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html