hadoop环境搭建总结

时间  2019-11-08
标签 hadoop 环境 搭建 总结 栏目 Hadoop 繁體版
原文   原文链接

最近一段时间在看Hadoop The Definitive Guide, 3rd Edition.pdf，学习hadoop，我的想不能总看书，不实践呀，因而准备搭建一套开发环境，果真遇到不少问题，最终调试出了运行结果，在此记录。html

我实践的过程比较坎坷，分别尝试了centos，Ubuntu，windows下的Eclipse的hadoop插件，都加载成功，可是windows下的示例没有运行成功。下面详细说明java

参考Hadoop The Definitive Guide, 3rd Edition.pdf附录A，先下载hadoop：http://hadoop.apache.org/common/releases.html，我下载的版本是2.6.4。解压后放到/usr/local/下，我我的安装的程序都在这个目录下。可是java和Eclipse都是系统自带的或者yum安装，都不在这个目录下。node

设置JAVA_HOME，java是系统自带的，java的安装你能够去网上搜一下，或者按照下面的方法，也能够找到git

zhang@oradt:/etc/alternatives$ java -version
java version "1.7.0_95"
OpenJDK Runtime Environment (IcedTea 2.6.4) (7u95-2.6.4-0ubuntu0.14.04.1)
OpenJDK 64-Bit Server VM (build 24.95-b01, mixed mode)
zhang@oradt:/etc/alternatives$ which java
/usr/bin/java
zhang@oradt:/etc/alternatives$ ll /usr/bin/java
lrwxrwxrwx 1 root root 22 二月 16 16:42 /usr/bin/java -> /etc/alternatives/java*
zhang@oradt:/etc/alternatives$ ll /etc/alternatives/java
lrwxrwxrwx 1 root root 46 二月 16 16:42 /etc/alternatives/java -> /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java*
zhang@oradt:/etc/alternatives$

修改~/.bashrc，设置环境变量，添加到最后便可，添加完成后，source一下生效github

export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
export HADOOP_INSTALL="/usr/local/hadoop-2.6.4"
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

接下来你应该能够运行hadoop了，先查一下版本，接下来按照附录上的配置文件修改配置，调试过程当中，我做了一些修改，配置以下：
spring

core-site.xml，下面的9000端口在配置Eclipse的时候有用到。
shell

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost/</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.80.202:9000/</value>
        </property>
</configuration>

hdfs-site.xml
apache

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

</configuration>

mapred-site.xml
ubuntu

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:8021</value>
        </property>

</configuration>

yarn-site.xml
windows

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>localhost:8032</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce.shuffle</value>
        </property>

</configuration>

按照资料上讲的，ssh localhost的时候不能输入密码，因此要使用密钥登陆，使用下面两条命令；

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

下面是一系列的hadoop命令，格式化节点，启动，关闭守护进程等等，我直接使用的yarn，未找到mapred.sh，听说这个脚本用到客户端了，我认识还比较浅，不清楚如何启动这个本地的。

hadoop namenode -format

start-dfs.sh
start-yarn.sh

stop-dfs.sh
stop-yarn.sh

到此，你能够查看一下监听的各个端口，也能够访问网址localhost:50070和localhost:8088，查看运行状态。

上面这个步骤在centos和Ubuntu下一次性配置都是成功的，比较简单，可是尚未用到任何map，reduce实际运行的内容，下一步配置Eclipse开发环境才是重点。

个人Eclipse也是系统自带的，先找一下Eclipse的安装目录，若是经过yum和apt-get安装的，通常在/usr/lib(64)下，实在找不到可使用find / -name plugins|grep eclipse查找。接下来就是把hadoop的Eclipse插件放到plugins目录下。

网上应该能下到很多hadoop的eclipse插件版本，我认为最权威的应该仍是git托管的那个，地址是：https://github.com/winghc/hadoop2x-eclipse-plugin，这里边不只有源码，还有几个编译好的jar包可使用，可是最高版本是2.6.0，开始的时候我使用这个2.6.0版本的jar包，放入plugins文件夹，Eclipse不识别，我觉得是jar包不能兼容，或者编译的版本不对，我尝试了各类方法从新编译这个jar包，可是都以失败了结，不管实在centos，Ubuntu，仍是windows，缘由貌似是Eclipse少什么包，出大量的编译错误，所以，我尝试从新安装Eclipse。到最后，我也没编译经过这个插件。

安装Eclipse的方法我也尝试了几种，最后成功的是apt-get，将hadoop-eclipse-plugin-2.6.0.jar放到plugins目录，在命令行下使用eclipse命令启动后，居然出现了DFS Locations，说明插件加载成功呀。

接下来按照网上的步骤， 配置hadoop，Window->Preference

Window->Show View -> Others -> MapReduce Tools ->Map/Reduce Locations

添加Locations

第一个端口使用的默认的50020，第二个是前面配置的9000，这个地方我使用的IP地址，见前面的配置，前面的fs.defaultFS配置为localhost的话，在windows系统下链接192.168.80.202是不成功的。

若是正常的话，这个地方展开是没有错误的。文件目录结构是使用命令新建的，hdfs dfs -mkdir -p input，这个命令会在/user/你的用户名/ 目录下新建一个input目录，hadoop fs -put intput1.txt input，这个命令是上传文件到input目录下。

到此环境算是搭建好了。

下面是新建项目了:

File->New->Others...->

添加map和reduce类

Mapper类注意父类的最后一个参数是IntWriteable类型

Reducer类注意第二个输入参数和第四个输出参数为IntWriteable类型

最后再添加一个MaxTemperature类，这3个类的详细内容，建议仍是读读书吧。

MaxTemperatureMapper.java

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;


public class MaxTemperatureMapper extends
		Mapper<LongWritable, Text, Text, IntWritable> {
	private static final int MISSING = 9999;
	//private static Logger logger = Logger.getLogger(MaxTemperatureMapper.class);
	public void map(LongWritable ikey, Text ivalue, Context context)
			throws IOException, InterruptedException {
		String line = ivalue.toString();
		System.err.println(line);
		String year = line.substring(15, 19);
		int airTemperature;
		if (line.charAt(87) == '+') { // parseInt doesn't like leading plus signs
			airTemperature = Integer.parseInt(line.substring(88, 92));
		} else {
			airTemperature = Integer.parseInt(line.substring(87, 92));
		}
		String quality = line.substring(92, 93);
		if (airTemperature != MISSING && quality.matches("[01459]")) {
			context.write(new Text(year), new IntWritable(airTemperature));
		}else{
			context.write(new Text(year), new IntWritable(0));
		}

	}

}

MaxTemperatureReducer.java

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;


public class MaxTemperatureReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

	public void reduce(Text _key, Iterable<IntWritable> values, Context context)
			throws IOException, InterruptedException {
		// process values
		int maxValue  = Integer.MIN_VALUE;
		for (IntWritable val : values) {
			System.err.println(val.get());
			maxValue = Math.max(maxValue, val.get());
		}
		context.write(_key, new IntWritable(maxValue));
	}

}

MaxTemperature.java

//import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MaxTemperature {
	public static void main(String[] args) throws Exception {
		if (args.length != 2) {
			System.err.println("Usage: MaxTemperature <input path> <output path>");
			System.exit(-1);
		}
		//Configuration conf = new Configuration();
		Job job = Job.getInstance();
		job.setJarByClass(MaxTemperature.class);
		job.setJobName("Max temperature");
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		job.setMapperClass(MaxTemperatureMapper.class);
		job.setReducerClass(MaxTemperatureReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}

}

代码完成后，先准备一个测试文件吧，文件内容我给你弄个现成的，千万注意，最后别有空行。

0067011990999991950051507004+51317+028783FM-12+017199999V0203201N00721004501CN0100001N9+00001+01391102681
0067011990999991950051507004+51317+028783FM-12+017199999V0203201N00721004501CN0100001N9+00021+01391102681
0067011990999991952051507004+51317+028783FM-12+017199999V0203201N00721004501CN0100001N9+00011+01391102681
0067011990999991953051507004+51317+028783FM-12+017199999V0203201N00721004501CN0100001N9+00031+01391102681

运行的时候须要设置下参数Run->Run Configuration:

我开始运行的时候，一个问题是出现了关于log4j相关的警告，第二个问题是程序运行结束后，只出现了output文件夹，可是没有出现输出文件。整了半天，果真是不能忽略警告呀，警告解决后，会出现日志，错误天然就知道了呀。

解决日志的问题方法网上有不少，就是在src目录添加一个文件log4j.properties，内容以下（不限于这一种）

# Configure logging for testing: optionally with log file
log4j.rootLogger=WARN, stdout
# log4j.rootLogger=WARN, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

关键是你要在eclipse目录下刷新一下，出现这个文件，不然无论用。因而我看到了日志，缘由是text文件多了一个空行，致使String的截取方法出错崩溃。

修正后，出现了正确的结果。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程