入门Hadoop---HDFS-API

第一步：建立一个新的项目 并导入须要的jar包

公共核心包

 

公共依赖包

 

hdfs核心包

 

hdfs依赖包

 

第二步：将Linux中hadoop的配置文件拷贝到项目的src目录下

 

第三步：配置windows本地的hadoop环境变量（HADOOP_HOME：hadoop的安装目录 Path：在后面添加hadoop下的bin目录）

第四步：使用windows下编译好的hadoop替换hadoop的bin目录和lib目录

第五步：使用FileSystem对象对hdfs进行操做（注意：FileSystem默认是本地文件系统 所以要经过Configuration对象配置为hdfs系统）

 

第六步：在运行以前 须要保证本地的用户名和hadoop的用户名一致 在不修改windows用户名的状况下 能够配置Eclipse的参数实现：右击项目->Run As ->Run Configurations

 

运行便可成功上传本地文件到hdfs

代码以下：

package com.xjtuse;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Before;
import org.junit.Test;

public class HdfsDemo {
FileSystem fs = null;
@Before
// 初始化HDFS
public void init() throws Exception
{
// 配置文件 默认加载src下的配置文件
Configuration conf = new Configuration();
// conf.set("fs.defaultFS", "hdfs://master:9000");
    // 生成一个文件系统客户端操做对象
//     fs = FileSystem.get(conf);
// 第一个参数是URI指明了是hdfs文件系统 第二个参数是配置文件 第三个参数是指定用户名 须要与hadoop用户名保持一致
fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");
}

@Test
// 建立新的文件夹
public void mkdir() throws Exception
{
Path path = new Path("/hello");
fs.mkdirs(path);
// 关闭
fs.close();
}

@Test
// 上传文件
public void upload() throws Exception
{
// 第一个参数是本地windows下的文件路径 第二个参数是hdfs的文件路径
fs.copyFromLocalFile(new Path("F:/Files/data/README.txt"), new Path("/"));
// 关闭
fs.close();

}
}

转自: http://www.javashuo.com/article/p-sopdnoog-o.html

补充：最后咱们运行可能报以下异常。

 

 

 这个时候在项目根目录下建立一个文件命名为log4j.properties并填写以下内容，而后从新运行就行了。

 hadoop.root.logger=DEBUG, console
 log4j.rootLogger = DEBUG, console
 log4j.appender.console=org.apache.log4j.ConsoleAppender
 log4j.appender.console.target=System.out
 log4j.appender.console.layout=org.apache.log4j.PatternLayout
 log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

有的时候咱们新建文件的时候选择File->New没有选择文件这个选项，这个时候不用着急，它给隐藏了，找到Window->Perspective->Customize Perspective 勾选上File便可。

系列传送门