Java网络爬虫实操（7）

上一篇：Java网络爬虫实操（6）

你们好，咱们日常浏览网页常常会看到这样的效果：鼠标滚动到差很少底部的时候，才会加载新内容出来。而后一直滚就一直加载，好比外卖平台上的评价信息、社交平台上的跟贴等等。

本篇文章介绍如何用seleinum技术模拟人对浏览器的操做

1) 准备工做

• 更新爬虫框架NetDiscovery，咱们基于框架进行演示
• 下载对应的浏览器driver程序，好比chrome的chromedriver，官方下载，镜像下载
• 注意：driver程序必定要和浏览器版本匹配，建议直接装最新的chrome和chromedriver（当前最新版本是2.36），若是是其余浏览器的话，也同样的
• 目标：打开一个网页窗口，显示内容并最大化，往下拉后加载出新的内容，最终对当前网页截屏，在本地生成一个图像文件

  

2) 程序实现逻辑

• 根据浏览器类型建立相应的对象new ChromeDriver()，并附上相应的action
• 经过chromedriver驱动程序打开本地的chrome浏览器
• 用内置的js方法window.scrollBy()模拟人下拉网页的操做
• 用driver自带的getScreenshotAs()实现对网页截图

3) 写代码

Main类

package com.cv4j.netdiscovery.example;

import com.cv4j.netdiscovery.core.Spider;
import com.cv4j.netdiscovery.selenium.Browser;
import com.cv4j.netdiscovery.selenium.downloader.SeleniumDownloader;
import org.openqa.selenium.WebDriver;

public class TestSelenium {

    public static void main(String[] args) {
        //设置浏览器的驱动程序
        WebDriver driver = Browser.Chrome.init("example/chromedriver.exe");
        //建立downloader类和action
        ScrollAction scrollAction = new ScrollAction();
        SeleniumDownloader seleniumDownloader = new SeleniumDownloader(driver, scrollAction);
        //设置并启动爬虫
        Spider.create()
                .name("testseleinum")
                .url("https://www.ele.me/shop/1919756/rate")
                .downloader(seleniumDownloader)
                .run();
    }
}
复制代码

SeleniumAction类

package com.cv4j.netdiscovery.example;

import com.cv4j.netdiscovery.selenium.SeleniumAction;
import com.cv4j.netdiscovery.selenium.Utils;
import org.openqa.selenium.WebDriver;

public class ScrollAction implements SeleniumAction {

    @Override
    public void execute(WebDriver driver) {
        try {
            //最大化
            driver.manage().window().maximize();
            //停顿2秒
            Thread.sleep(2000);
            //往下滚动200px
            Utils.scroll(driver, 200);
            //对当前网页截屏
            Utils.taskScreenShot(driver, "D:\\work\\test.png");
        } catch(InterruptedException e) {
        }
    }
}
复制代码

执行结果

4) 总结

seleinum本质上是一种自动化测试工具，在爬虫技术中主要用来模拟人对浏览器的操做，理论上人经过鼠标键盘操做的全部过程，均可以用程序代码模拟出来，而后获取咱们想要的网页数据。

试用下来发现NetDiscovery框架对seleinum操做的支持还比较简单，我会继续关注。

下一篇：Java网络爬虫实操（8）