Java网络爬虫实操（6）

上一篇：Java网络爬虫实操（5）

你们好，前几篇文章一直提到用xpath去解析html。因为是演示代码，因此看上去都简洁明了的。其实在生产环境下，咱们须要获取的数据每每不是一点点，如何让获取数据的代码写的更加清晰、优雅呢？

本篇文章尝试用注解的方式实现一下，你们看看是否好一点。

1) 目标

• 随便找一个网站，获取上面列表类的数据

  

2) 以前的解析类

• 在process方法中围绕咱们想要的数据，努力去定位、查找

package com.cv4j.netdiscovery.example;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import java.util.List;

public class TestParser implements Parser {
    @Override
    public void process(Page page) {
        //最新网申
        List<String> newApplyList = page.getHtml().xpath("//dl[@id='dlFull']/dd/div/div/p[@title]/a/text()").all();
        page.getResultItems().put("newApplyList", newApplyList);
        //最新实习
        List<String> newWorkList = page.getHtml().xpath("//dl[@id='dlPart']/dd/div/div/p[@title]/a/text()").all();
        page.getResultItems().put("newWorkList", newWorkList);
    }
}
复制代码

3) 使用注解以后的解析类

• 只要继承类AnnotationParser，不要实现接口Parser
• 别忘记添加 super.process(page)
• 在pipeline类中，用变量名称做为key从map中获取对应的值
• 能够用框架自带的ConsolePipeline类作测试

package com.cv4j.netdiscovery.example;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.AnnotationParser;
import com.cv4j.netdiscovery.core.parser.annotation.ExtractBy;

import java.util.List;

public class TestParser extends AnnotationParser {
    //最新网申
    @ExtractBy.XPath("//dl[@id='dlFull']/dd/div/div/p[@title]/a/text()")
    private List<String> newApplyList;

    //最新实习
    @ExtractBy.XPath("//dl[@id='dlPart']/dd/div/div/p[@title]/a/text()")
    private List<String> newWorkList;

    @Override
    public void process(Page page) {
        super.process(page);  //这行代码不能缺

        //process里一行代码也不用写，在上面经过注解就能够获取咱们要的数据了
    }
}
复制代码

4) 运行结果

• 首页上最新网申和最新实习的标题数据以下：

  

5) 总结

总之，一个好的框架的目标是但愿能用的前提下，用的更好、更爽。好像汽车品牌同样，虽然都是四个轮子的，几万的也有，几十万的也不少。

有兴趣的小伙伴能够关注这个爬虫框架NetDiscovery，基本上每周都有更新的。

下一篇：Java网络爬虫实操（7）