reduce输出结果到sqlserver数据库异常

时间 2019-11-12

标签 reduce 输出结果 sqlserver 数据库异常栏目 SqlServer 繁體版

原文原文链接

最近在作个hadoop统计的小项目，结果须要输出到sqlserver数据，其中遇到一些小问题
java

在map、reduce进行的比较顺利，由于数据比较规范，很快都搞定了node

在运行时出现如下状况sql

遇到这种状况，第一时间想到是由于结点上驱动包的问题
数据库

对于缺乏驱动的问题，有两种方案app

一、在集群的每一个结点${HADOOP_HOME}/lib下添加驱动包，并重启集群。这是最原始的方法，由于须要重启集群，不建议使用oop

二、先把驱动包上传到集群中sqlserver

hadoop fs -put /lib/sqljdbc.jar

而后在新建Job以前添加到classpath环境中spa

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//添加到classpath
DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs);

//必须在新建JOB以前执行，这样才能在初始化 加载数据库驱动、以及链接数据库 传入到conf中供JOB使用
DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver", 
    "jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456");
Job job = new Job(conf, "statistic");

job.setJarByClass(DbnameDownedStatistic.class);
job.setMapperClass(StatisticMap.class);
job.setReducerClass(StatisticReducer.class);

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(StatisticDBWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(4);

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(DBOutputFormat.class);

FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/"));
String[] fileds = new String[] { "name","down", "count" };
DBOutputFormat.setOutput(job, "statistic", fileds);

System.exit(job.waitForCompletion(true) ? 0 : 1);

这里须要注意的是code

DBConfiguration.configureDB();

这个方法必须在new Job()以前执行，这样conf才能加载到驱动包，才能保证其余结点也能加载到驱动包orm