hadoop中实现java网络爬虫

这一篇网络爬虫的实现就要联系上大数据了。在前两篇java实现网络爬虫和heritrix实现网络爬虫的基础上，这一次是要完整的作一次数据的收集、数据上传、数据分析、数据结果读取、数据可视化。

须要用到

Cygwin：一个在windows平台上运行的类UNIX模拟环境，直接网上搜索下载，而且安装；

Hadoop：配置Hadoop环境，实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS，用来将收集的数据直接上传保存到HDFS，而后用MapReduce分析；

Eclipse：编写代码，须要导入hadoop的jar包，以能够建立MapReduce项目；

Jsoup：html的解析jar包，结合正则表达式能更好的解析网页源码；

 

----->

目录：

一、配置Cygwin

二、配置Hadoop黄静

三、Eclipse开发环境搭建

四、网络数据爬取（jsoup）

-------->

 

一、安装配置Cygwin

从官方网站下载Cygwin 安装文件，地址：https://cygwin.com/install.html

下载运行后进入安装界面。

安装时直接从网络镜像中下载扩展包，至少须要选择ssh和ssl支持包

安装后进入cygwin控制台界面，

运行ssh-host-config命令，安装SSH

输入：no，yes，ntsec，no，no

注意：win7下须要改成yes，yes，ntsec，no，yes，输入密码并确认这个步骤

完成后会在windows操做系统中配置好一个Cygwin sshd服务，启动该服务便可。

 

而后要配置ssh免密码登录

从新运行cygwin。

执行ssh localhost，会要求使用密码进行登录。

使用ssh-keygen命令来生成一个ssh密钥，一直回车结束便可。

生成后进入.ssh目录，使用命令：cp id_rsa.pub authorized_keys 命令来配置密钥。

以后使用exit退出便可。

 

从新进入系统后，经过ssh localhost就能够直接进入系统，不须要再输入密码了。

 二、配置Hadoop环境

修改hadoop-env.sh文件，加入JDK安装目录的JAVA_HOME位置设置。

# The java implementation to use.  Required. export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_67

如图注意：Program Files缩写为PROGRA~1

修改hdfs-site.xml，设置存放副本为1（由于配置的是伪分布式方式）

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

注意：此图片多加了一个property，内容就是解决可能出现的权限问题！！！

HDFS：Hadoop 分布式文件系统

能够在HDFS中经过命令动态对文件或文件夹进行CRUD

注意有可能出现权限的问题，须要经过在hdfs-site.xml中配置如下内容来避免：

<property> <name>dfs.permissions</name> <value>false</value> </property>

 

修改mapred-site.xml，设置JobTracker运行的服务器与端口号（因为当前就是运行在本机上，直接写localhost 便可，端口能够绑定任意空闲端口）

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>

配置core-site.xml，配置HDFS文件系统所对应的服务器与端口号（一样就在当前主机）

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

 

配置好以上内容后，在Cygwin中进入hadoop目录

 

在bin目录下，对HDFS文件系统进行格式化（第一次使用前必须格式化），而后输入启动命令：

 

三、Eclipse开发环境搭建

这个在我写的博客  大数据【二】HDFS部署及文件读写（包含eclipse hadoop配置）  http://www.cnblogs.com/1996swg/p/7286136.html　　中给出大体配置方法。不过此时须要完善一下。

将hadoop中的hadoop-eclipse-plugin.jar支持包拷贝到eclipse的plugin目录下，为eclipse添加Hadoop支持。

启动Eclipse后，切换到MapReduce界面。

在windows工具选项选择showviews的others里面查找map/reduce  locations。

在Map/Reduce Locations窗口中创建一个Hadoop Location，以便与Hadoop进行关联。

注意：此处的两个端口应为你配置hadoop的时候设置的端口！！！

完成后会创建好一个Hadoop Location

在左侧的DFS Location中，还能够看到HDFS中的各个目录

而且你能够在其目录下自由建立文件夹来存取数据。

下面你就能够建立mapreduce项目了，方法同正常建立同样。

四、网络数据爬取

如今咱们经过编写一段程序，来将爬取的新闻内容的有效信息保存到HDFS中。

此时就有了两种网络爬虫的方法：其一就是利用heritrix工具获取的数据；

　　　　　　　　　　　　　　　其一就是java代码结合jsoup编写的网络爬虫。

方法一的信息保存到HDFS：

直接读取生成的本地文件，用jsoup解析html，此时须要将jsoup的jar包导入到项目中。

 

package org.liky.sina.save;

//这里用到了JSoup开发包，该包能够很简单的提取到HTML中的有效信息
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class SinaNewsData {

    private static Configuration conf = new Configuration();

    private static FileSystem fs;

    private static Path path;

    private static int count = 0;

    public static void main(String[] args) {
        parseAllFile(new File(
                "E:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
    }

    public static void parseAllFile(File file) {
        // 判断类型
        if (file.isDirectory()) {
            // 文件夹
            File[] allFile = file.listFiles();
            if (allFile != null) {
                for (File f : allFile) {
                    parseAllFile(f);
                }
            }
        } else {
            // 文件
            if (file.getName().endsWith(".html")
                    || file.getName().endsWith(".shtml")) {
                parseContent(file.getAbsolutePath());
            }
        }
    }

    public static void parseContent(String filePath) {
        try {
                //用jsoup的方法读取文件路径
            Document doc = Jsoup.parse(new File(filePath), "utf-8");
            //读取标题
            String title = doc.title();
            Elements descElem = doc.getElementsByAttributeValue("name",
                    "description");
            Element descE = descElem.first();
            
            // 读取内容
            String content = descE.attr("content");

            if (title != null && content != null) {
                //经过Path来保存数据到HDFS中
                path = new Path("hdfs://localhost:9000/input/"
                        + System.currentTimeMillis() + ".txt");

                fs = path.getFileSystem(conf);

                // 创建输出流对象
                FSDataOutputStream os = fs.create(path);
                // 使用os完成输出
                os.writeChars(title + "\r\n" + content);

                os.close();

                count++;

                System.out.println("已经完成" + count + " 个!");
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}