node爬虫

node是服务器端的语言，因此能够像python同样对网站进行爬取，下面就使用node对博客园进行爬取，获得其中全部的章节信息。

 

第一步： 创建crawl文件，而后npm init。

 

 

第二步： 创建crawl.js文件，一个简单的爬取整个页面的代码以下所示：

var http = require("http");var url = "http://www.cnblogs.com";

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function () {
        console.log(html);
    });
}).on("error", function () {
    console.log("获取课程结果错误！");
});

即引入http模块，而后利用http对象的get请求，即一旦运行，至关于node服务器端发送了一个get请求请求这个页面，而后经过res返回，其中on绑定data事件用来不断地接受数据，最后end时咱们就在后台打印出来。

 

这只是整个页面的一部分，咱们能够在此页面审查元素，发现确实是同样的

 

咱们只须要将其中的章节title和每一小节的信息爬到便可。 

 

 

第三步： 引入cheerio模块，以下：（在gitbash中安装便可，cmd老是出问题）

cnpm install cheerio --save-dev

这个模块的引入，就是为了方便咱们操做dom，就像jQuery同样。

 

第四步： 操做dom，获取有用信息。

var http = require("http");var cheerio = require("cheerio");var url = "http://www.cnblogs.com";

function filterData(html) {    var $ = cheerio.load(html); 
    var items = $(".post_item");    var result = [];
    items.each(function (item) {        var tit = $(this).find(".titlelnk").text();        var aut = $(this).find(".lightblue").text();        var one = {
            title: tit,
            author: aut
        };
        result.push(one);
    });    return result;
}

function printInfos(allInfos) {
    allInfos.forEach(function (item) {
        console.log("文章题目  " + item["title"] + '\n' + "文章做者  " + item["author"] + '\n'+ '\n');
    });
}

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function (data) {        var allInfos = filterData(html);
        printInfos(allInfos);
    });
}).on("error", function () {
    console.log("爬取博客园首页失败")
});

即上面的过程就是在爬取博客的题目和做者。

 

最终后台输出以下：

 

这和博客园首页的内容是一致的：