js注入+chrome插件爬虫

 本例以http://www.biqugexsw.com/30_30505/为例

 页面以下

  

（1）什么是js注入

   首先观察控制台例子的控制台，发现全部的连接在.linsmain下

   

   在console.log下输入

Var s=$(".listmain a");

for(var i=0;i<s.length;i++){console.log($(s[i]).attr("href"))}

便能得到全部连接

这就是简单的js注入

1. python爬虫

  Python简单便捷为爬虫首选语言

  爬取（1）中的内容并用正则表达式处理

开始爬取单章内容，以http://www.biqugexsw.com/30_30505/13935714.html

为例

在观察

http://www.biqugexsw.com/30_30505/13935714.html

的控制台

对比以后发现由于这个网站作过反爬虫处理，具体的小说文字被隐藏，关于如何作反反爬虫处理有不少方法，如下只说其中的js注入反反爬虫处理

1. 反反爬虫

在这以前须要理清一下思路

第一如今须要的是控制台底下的这些源码利用console.log注入js能够获取

第二将获取的文字存储到本地，js很难实现这样的功能，那么须要一种能够存储文件的语言，php，python，java均可以，本例以java为例子

第三js如何和java通讯，以把得到到的文字发个java，java进行存储

本例以ajax为例

第一已经实现，第二须要创建一个web项目

将js得到文字ajax发给java

var vals=$("#content").text();

var names=$(".content h1").text();

$.ajax({

type:"POST",

url:"http://localhost:8080/jjs/index",

data:{"va":vals,"names":names},

success:function(es){}

});

再在java里得到

如何将字符存储为txt自行百度

1. 批量注入

通过（3）已经能够单张小说爬下来，可是一个小说有不少章，不可能打开一个页面console注入一下，因此要批量注入，批量注入须要解决的问题

第一须要打开不一样的页面获取不一样的内容而后发个java存储

第二打开的页面较多，会致使浏览器卡死

解决第一个问题须要引入一个工具，浏览器插件（chrome）

在chrome浏览器输入

chrome://extensions/

会进入插件页面，本例以360极速浏览器为例

浏览器插件开发请转

http://open.chrome.360.cn/extension_dev/devtools.html

新建一个目录以下

manifest.json：

Content_script属性为注入配置

Matches为访问哪些连接时注入

Js为注入的文件，注入了jq和ch.js

Ch.js这里写打开页面所作的操做

发送本界面的文字，并在两秒后关闭

1. html 主程序入口，批量打开连接

须要导入批量打开的连接fileList.txt

fileList.txt中内容为单章的连接，利用定时器2s打开一个页面

fileList.txt可用python生成

插件开发完毕以后，在浏览器安装本插件

选择加载已解压的扩展程序，选择插件文件，就将插件安装成功了

打开1.html，加载fileList.txt，点击开始

每2s弹出一个窗口此时会发送ajax请求

Java会将存储为文件