Python爬虫经常使用模块：BeautifulSoup

BeautifulSoup用途

    BeautifulSoup 借助网页的结构和属性等特性来解析网页，能够用它来方便地从网页中提取所需信息。

    BeautifulSoup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。

BeautifulSoup依赖于解析器

    它除了支持Python标准库中的HTML解析器外，还支持第三方解析器：

用法示例

    在如下示例中，使用的均是 Python 标准库中的HTML解析器，使用方法为BeautifulSoup(markup, 'html.parser')

① prettify() 方法

    使用 prettify() 方法把网页信息（字符串）以标准的缩进格式输出，输出的结果中不少节点，每个节点均可以做为一个对象，直接调用节点的名称就能够提取节点元素。

② 输出指定节点的文本内容

    在使用 prettify() 方法输出的结果中，能够看到有 title 节点：

    使用 soup.title 能够提取出 title 节点，输出结果为：<title>猫眼电影 - 一网打尽好电影</title> 。

    查看一下 soup.title 的类型，为 bs4.element.Tag类型，这是 BeautifulSoup 中一个重要的数据结构，咱们经过节点提取的结果都是这种 Tag 类型。Tag 具备一些属性，例如 string 属性。

    调用 string 属性就能够获得这个节点内的文本内容了：

    注意：以上这种提取节点元素的方式，当同一节点名出现屡次时，只能提取到第一个匹配的节点。

③ 获取 Tag （标签）的属性

    使用 soup.标签名.attrs 能够获取指定标签的全部属性。例如：

    使用 soup.标签名['属性名'] 能够获取标签中指定属性的内容。例如：

④ find() 和 find_all() 方法——面向对象的匹配

    BeautifulSoup 提供了一些查询方法，好比 find() 和find_all() 等，调用它们，而后传入相应的参数，就能够灵活查询了。

     find() 

    使用 find() 方法，能够获得符合条件的第一个元素。例如，使用 soup.find(name='p') 能够获得节点名为 p 的第一个元素：

    find_all() 

    使用 find_all() 方法，能够获得全部符合条件的元素。例如，使用 soup.find(name='p') 能够获得节点名为 p 的全部元素组成的列表：

    find() 和 find_all() 方法 常与 正则表达式 配合使用。

    

    挖个坑，之后填：

    什么是正则表达式？如何使用？

------------------- End -------------------

https://mp.weixin.qq.com/s/o33ptmbX22kIrA-mBvNZdA