Hadoop有三种模式 单机模式、伪分布模式和彻底分布模式
这里先简单介绍单机模式 ,默认状况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始作调试工做。 java
Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop apache
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha 分布式
安装前肯定java安装 略 oop
1、拷贝到/usr/local 解压 hadoop 测试
cp hadoop-2.0.2-alpha.tar.gz /usr/local cd /usr/local tar -zxvf hadoop-2.0.2-alpha.tar.gz
目录结构和配置文件这里就 省略() .net
2、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,因为默认状况下是单机模式,通常不用作修改就能够直接作第三步测试实例,下面只是安装实际状况修改。 调试
一、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 若是原来在环境变量中配置过,就可用使用默认的,不需修改 code
export JAVA_HOME=/opt/java/opt/java 也就是jdk安装的路径
二、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是能够修改内存大小
若是不须要也没必要修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS" 进程
export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"
3、运行实例 Hello Hadoop 内存
切换到该安装目录下,创建要上传到hadoop的两个文件 test1.txt、test2.txt
mkdir input cd input echo "hello world" > test1.txt echo "hello hadoop" > test2.txt cd ..运行hadoop自带的wordcount实例能够统计一批文本文件中单词出现的次数
$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
查看结果
$cat output/*hadoop 1 hello 2 world 1 OK,Hadoop单机模式就OK了