JAVA 爬虫框架webmagic 初步使用Demo

一想到作爬虫你们第一个想到的语言必定是python，毕竟python比方便，并且最近也很是的火爆，可是python有一个全局锁的概念新能有瓶颈，因此用java仍是比较牛逼的，

webmagic 官网 https://webmagic.io/ 讲的很是详细，固然java比较优秀的框架还有不少不知这些

各种JAVA爬虫框架

Python中大的爬虫框架有scrapy（风格相似django），pyspider（国产python爬虫框架）。
除了Python，Java中也有许多爬虫框架。

• nutch

apache下的开源爬虫程序，功能丰富，文档完整，有数据抓取解析以及存储的模块。
它的特色是规模大。

• heritrix

比较成熟
地址：internetarchive/heritrix3 · GitHub很早就有了，经历过不少次更新，使用的人比较多，功能齐全，文档完整，网上的资料也多。有本身的web管理控制台，包含了一个HTTP 服务器。操做者能够经过选择Crawler命令来操做控制台。

• crawler4j

UCI大学（加利福尼亚欧文分校）出品，简洁，古老，结构清晰

• webmagic

国产，借鉴了scrapy，有pipeline，功能比较简单。Request也有meta属性，meta属性是一个字典，meta属性的value是Object类型

具体参考 https://www.cnblogs.com/weiyinfu/p/8099605.html

使用问题

1. 下载maven依赖

<!--爬虫框架-->
    <dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-core</artifactId>
      <version>0.7.3</version>
    </dependency>
    <dependency>
      <groupId>us.codecraft</groupId>
      <artifactId>webmagic-extension</artifactId>
      <version>0.7.3</version>
    </dependency>

注意这里0.7.3是maven目前最新版本可是有个问题没有修复，运行回报java.net.SSL异常，须要去webmagic官网下载最新源码而后本身构建webmagic-core这个包代替maven仓库的才会正常运行

首页 去 https://github.com/code4craft/webmagic 下载最新master源码

而后IDEA打开项目 会自动下载maven项目依赖如

而后IDEA运行mvn install 构建每一个模块找到webmagic-parent最开始的进行构建

如上图若是构建成功会从新打包webmagic-core的jar，而后咱们把这个jar安装到咱们本地的maven仓库替换掉原来下载的webmagic-core-0.7.6.jar

经过maven如下命令安装本地

mvn install:install-file -Dfile=webmagic-core-0.7.3.jar -DgroupId=us.codecraft -DartifactId=webmagic-core -Dversion=0.7.3 -Dpackaging=jar

其中-Dfile参数是你新构建的webmagic-core的jar包路径

1. 最新版的webmagic0.7.3 使用了slfj+Log4j2日志你须要本身定义初始化log4j日志属性文件不然日志会报错

在maven项目resources目录新建

声明日志输出等级，位置，样式，才能正常运行

开始使用

WebMagic的结构分为Downloader、PageProcessor、Scheduler、Pipeline四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，可是实现方式更Java化一些。

而Spider则将这几个组件组织起来，让它们能够互相交互，流程化的执行，能够认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

WebMagic整体架构图以下：

咱们只用写本身的PageProcessor实现PageProcessor接口就行

package com.kenx;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class BlogPageProcessor implements PageProcessor {
    private Site site = Site.me();

    @Override
    public void process(Page page) {

    }

    @Override
    public Site getSite() {
        return site;
    }


    public static void main(String[] args) {

        Spider.create(new BlogPageProcessor()).addUrl("http://juejin.im/post/5e216eda6fb9a0300e1617eb").run();

    }

}

经过Spider入口运行本身写的PageProcessor就能够启动爬虫到这来就完美结束

详细官网文档 http://webmagic.io/docs/zh/po...

案例