Jsoup 使用教程：输入

时间 2019-11-25

标签 jsoup 使用教程输入栏目 Java 繁體版

原文原文链接

使用背景：

　　使用网络爬虫（或者手动复制），从别的网站上下载下来的内容，都是一堆的html，不少标签、样式等等均可能是你所不须要的，或者想要变成你想要的样式。那么该怎么办呢？html

　　咱们知道，每个网页都是一个html，那么下载下来的内容则多是彻底或不彻底的html 片断java

　　使用Jsoup 能够解析 htmlnode

正文：

一、解析一个HTML字符串

使用Jsoup 来解析一个HTML 文档。使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)示例代码：web

String html = "<html><head><title>First parse</title></head>"
  + "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

　　其解析器可以尽最大可能从你提供的html 文档来建立一个干净的解析结果，不管html 的格式是否完整api

　　好比它能够处理：安全

没有关闭的标签 (好比： Lorem Ipsum parses to Lorem Ipsum)
隐式标签 (好比. 它能够自动将 <td>Table data</td>包装成<table><tr><td>?)
建立可靠的文档结构（html标签包含head 和 body，在head只出现恰当的元素）

parse(String html, String baseUri) 这方法可以将输入的HTML解析为一个新的文档 (Document），参数 baseUri 是用来将相对 URL 转成绝对URL，并指定从哪一个网站获取文档。cookie

　　如这个方法不适用，你可使用 parse(String html) 方法来解析成HTML字符串如上面的示例。.网络

　　只要解析的不是空字符串，就能返回一个结构合理的文档，其中包含(至少) 一个head和一个body元素。ide

　　一旦拥有了一个Document，你就可使用Document中适当的方法或它父类 Element和Node中的方法来取得相关数据。post

一个文档的对象模型

文档由多个Elements和TextNodes组成 (以及其它辅助nodes：详细可查看：nodes package tree).
其继承结构以下：Document继承Element继承Node. TextNode继承 Node.
一个Element包含一个子节点集合，并拥有一个父Element。他们还提供了一个惟一的子元素过滤列表。

二、解析一个body片段

问题

假如你有一个HTML片段 (好比. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片段能够是用户提交的一条评论或在一个CMS页面中编辑body部分。

办法

使用Jsoup.parseBodyFragment(String html)方法.

String html = "<div><p>Lorem ipsum.</p>";
Document doc = Jsoup.parseBodyFragment(html);
Element body = doc.body();

说明

parseBodyFragment 方法建立一个空壳的文档，并插入解析过的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法，一般你也能够获得相同的结果，可是明确将用户输入做为 body片断处理，以确保用户所提供的任何糟糕的HTML都将被解析成body元素。

Document.body() 方法可以取得文档body元素的全部子元素，与 doc.getElementsByTag("body")相同。

保证安全Stay safe

假如你可让用户输入HTML内容，那么要当心避免跨站脚本攻击。利用基于 Whitelist 的清除器和 clean(String bodyHtml, Whitelist whitelist)方法来清除用户输入的恶意内容。

三、从一个URL加载一个Document

存在问题

你须要从一个网站获取和解析一个HTML文档，并查找其中的相关数据。你可使用下面解决方法：

解决方法

使用 Jsoup.connect(String url)方法:

Document doc = Jsoup.connect("http://example.com/").get();
String title = doc.title();

说明

connect(String url) 方法建立一个新的 Connection, 和 get() 取得和解析一个HTML文件。若是从该URL获取HTML时发生错误，便会抛出 IOException，应适当处理。

Connection 接口还提供一个方法链来解决特殊请求，具体以下：

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

这个方法只支持Web URLs (http和https 协议); 假如你须要从一个文件加载，可使用parse(File in, String charsetName) 代替。

四、从一个文件加载一个文档

问题

在本机硬盘上有一个HTML文件，须要对它进行解析从中抽取数据或进行修改。

办法

可使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法：

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

说明

parse(File in, String charsetName, String baseUri) 这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误，将抛出IOException，应做适当处理。

baseUri 参数用于解决文件中URLs是相对路径的问题。若是不须要能够传入一个空的字符串。

另外还有一个方法parse(File in, String charsetName) ，它使用文件的路径作为 baseUri。这个方法适用于若是被解析文件位于网站的本地文件系统，且相关连接也指向该文件系统。

参考连接：

Jsoup 官网教程（英文）

Jsoup 中文教程