30行js爬取顶点全网任意小说

时间 2019-11-16

标签顶点全网任意栏目 JavaScript 繁體版

原文原文链接

以前连续多篇文章介绍客户端爬取平台(dspider)，今天咱们从零开始，实现爬取顶点小说网任意一本小说的功能。javascript

若是你还不知道客户端爬取，能够先看下个人前几篇博客：css

爬虫技术( 一) 一篇文章了解爬虫技术现状html

爬虫技术(二) 客户端爬虫java

爬虫技术(三)－客户端爬取Android SDK发布android

客户端爬虫 ios sdk 发布了！ios

客户端爬取－答网友问git

DSpider简介github

集成sdk

dspider官方网站有详细的集成文档, 并提供了demo, 咱们本节的示例基于该demo开始，请先下载相应平台的demo(github),下面是集成文档：ajax

ios： dspider.dtworkroom.com/document/io…api

android: dspider.dtworkroom.com/document/an…

如何集成、爬取文章中很详细，下面咱们主要看一下如何写爬取脚本

编写爬取脚本

分析网页

因为咱们爬取的手机版网站，打开顶点小说主页 m.23us.com/ ，为了简单起见，咱们在进入具体小说的目录页后就开始爬取。下面以《择天记》为例：
介绍页url:m.23us.com/book/52234
咱们提取特征字符串“／book／”。
目录页url: m.23us.com/html/52/522…
咱们提取小说目录页url特征"html/数字／数字／"。

那么基本的爬取流程以下：

//咱们将小说标题做为sessionKey
var sessionKey="小说标题"
dSpider(sessionKey, function(session,env,$){
    //在介绍页
    if(location.href.indexOf("/book/")!=-1){
       //添加爬取按钮
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {  
      //目录页自动开始爬取
    ｝
})复制代码

dSpider为脚本爬取的入口函数，相似于c里面的main函数，详细的请移步dspider javascript api文档。

介绍页添加爬取按钮

为了启动爬取，咱们在介绍页添加一个爬取按钮，原来的介绍页以下：

由于在进入目录页会自动爬取，因此咱们只须要将进入章节目录的按钮文字变一下，同时为了醒目，背景换成绿色。

具体代码：

$(".more a").text("爬取本书").css("background","#1ca72b");复制代码

目录页爬取

在目录页咱们获取全部章节的url。
```
var list = $(".chapter li a");复制代码
```

而后经过ajax请求每个url，获取数据并解析

$.get(e.attr("href")).done(function (data) {
                //获取章节名
                var text = e.text().trim() + "\r\n";
                //获取正文，进行格式处理
                text+= $(data).find("#txt").html()
                       .replace(/ /g," ").replace(/<br>/g,"\n")+"\r\n";
                //将数据传递给端
                session.push(text)
 })复制代码

在爬取的时候，咱们输出进度消息给端，完整的代码以下：

var sessionKey=dQuery(".index_block h1").text()
dSpider(sessionKey, function(session,env,$){
    if(location.href.indexOf("/book/")!=-1){
        $(".more a").text("爬取本书").css("background","#1ca72b");
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {
        log(sessionKey)
        var list = $(".chapter li a");
        session.showProgress();
        session.setProgressMax(list.length);
        var curIndex = 0
        function getText() {
            var e = list.eq(list.length-curIndex-1);
            $.get(e.attr("href")).done(function (data) {
                var text = e.text().trim() + "\r\n";
                text+= $(data).find("#txt").html()
                      .replace(/ /g," ").replace(/<br>/g,"\n")+"\r\n";
                session.push(text)
            }).always(function () {
                if (++curIndex < list.length) {
                    session.setProgress(curIndex);
                    session.setProgressMsg("正在爬取《"+sessionKey+"》 "+e.text())
                    getText();
                } else {
                    session.setProgress(curIndex);
                    session.finish();
                }
            })
        }
        getText()
    }
})复制代码

怎么样，简单强大吧！

咱们看看运行效果：

爬取成功后，我将数据保存在txt中，而后用qq阅读打开

脚本已经发布到了爬虫商店：dspider.dtworkroom.com/spider/12

集成注意事项

下载的demo默认的包名是：wendu.dspiderdemo, appid是5，这是官方帐号下的app。若是你要换包名，须要在后台先建立应用，建立好以后得到appid, 将sdk初始化时的appid换成你本身的appid，而后在爬虫商店找到“顶点小说”，而后将它添加到你的应用，这一步很重要，不然你的应用就没有执行该爬虫的权限。咱们在“顶点小说”详情页获取其id(12),而后在demo中将sid换成12就能够了。爬取的结果能够本身拼接保存在txt中。

ps:别忘了star一下哦。