java 调用 phantomjs

java 调用 phantomjs

2014-11-21 13:55 2034人阅读 评论(2) 收藏 举报

 分类：

phantomjs（2） 

日前有采集需求，当我把全部的对应页面的连接都拿到手，准备开始根据连接去采集（写爬虫爬取）对应的终端页的时候，发觉用程序获取到的数据根本没有对应的内容，但是个人浏览器看到的内容明明是有的，因而浏览器查看源代码也发觉没有，此时想起该网页应该是ajax加载的。不知道ajax的小朋友能够去学下web开发啦。

    采集ajax生成的内容手段不外乎两种。一种是经过http观察加载页面时候的请求，而后咱们模仿该请求去获得对应的内容，第二种则是模仿浏览器行为去渲染这个页面获得内容。我在这里决定采用第二种方式，以前一直玩webkit，不过一直要加载页面太浪费资源了，此时了解到有一个好玩的玩意phantomjs，这是个能够用命令行来操做webkit的玩意，而后也能够直接在里面用js的api去操做页面（固然，我这边比较简单就懒得用了）。

     下载完phantomjs以后直接解压就能够使用，而后在path目录加入phantomjs的路径（以便直接在命令行就能够执行phantomjs命令）。

    接下来要完成个代码，一个是用phantomjs去获取页面（采用js编写行为），一个是采用java去调用phantomjs来达到获取内容的做用，接下来直接贴代码。

 

 

//codes.js
system = require('system')
address = system.args[1];//得到命令行第二个参数 接下来会用到
//console.log('Loading a web page');
var page = require('webpage').create();
var url = address;
//console.log(url);
page.open(url, function (status) {
    //Page is loaded!
    if (status !== 'success') {
        console.log('Unable to post!');
    } else {
        //console.log(page.content);
        //var title = page.evaluate(function() {
        //  return document.title;//示范下如何使用页面的jsapi去操做页面的  www.oicqzone.com
        //  });
        //console.log(title);

        console.log(page.content);
    }
    phantom.exit();
});

 

 

 

上述的js代码估计应该没几个看不懂的。。。

 

接下来贴java代码！

 

 

import org.apache.commons.io.IOUtils;

import java.io.*;

/**
 * Created with IntelliJ IDEA.
 * User: lsz
 * Date: 14-4-22
 * Time: 下午1:17
 * utils for http
 */
public class HttpUtils {
    public static String getAjaxCotnent(String url) throws IOException {
        Runtime rt = Runtime.getRuntime();
        Process p = rt.exec("phantomjs.exe c:/phantomjs/codes.js "+url);//这里个人codes.js是保存在c盘下面的phantomjs目录
        InputStream is = p.getInputStream();
        BufferedReader br = new BufferedReader(new InputStreamReader(is));
        StringBuffer sbf = new StringBuffer();
        String tmp = "";
        while((tmp = br.readLine())!=null){
            sbf.append(tmp);
        }
        //System.out.println(sbf.toString());
        return sbf.toString();
    }

    public static void main(String[] args) throws IOException {
        getAjaxCotnent("http://www.oicqzone.com");
    }
}