Beautiful Soup

时间 2019-11-17

标签 beautiful soup 繁體版

原文原文链接

Beautiful Soup

简单来讲，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。html

1.Beautiful Soup简介

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，经过解析文档为用户提供须要抓取的数据，由于简单，因此不须要多少代码就能够写出一个完整的应用程序。python

Beautiful Soup 是一个能够从HTML或XML文件中提取数据的Python库。它可以经过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。因此须要配合解析器一块儿使用！函数

2.为何要用BeautifulSoup？

BeautifulSoup能给咱们提供一些列查找文档树的方法，使咱们能快速定位到咱们想要爬取的数据。咱们再回想一下以前学的一个re模块，它能够全局查找咱们想要的文本，从文本开头到结束开始匹配，而后经过贪婪匹配，再经过非贪婪匹配拿到须要的数据，整个过程是否是很是繁琐，而却搜索效率极低！工具

BeautifulSoup内既封装了re，还为咱们提供了一些更增强大、高效的功能，使咱们能够快速匹配到咱们想要的数据，提升爬取效率和开发效率code

3.安装

pip install beautifulsoup4
#安装Beautifulsoup4
pip install lxml
安装解析器

4.基本用法

基本使用

注意: 如何初始文本内有换行，也会算在里面。（坑）
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" >Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup

# 第一个参数是解析文本
# 第二个参数是解析器
soup = BeautifulSoup(html_doc, 'lxml')

# 具有自动补全html标签功能
print(soup)

# 美化html便签
html_doc = soup.prettify()
print(html_doc)

遍历文档树

一、直接使用
    二、获取标签的名称
    三、获取标签的属性
    四、获取标签的内容
    五、嵌套选择
    六、子节点、子孙节点
    七、父节点、祖先节点
    八、兄弟节点

一、直接选择标签（返回的是一个对象）
print(soup.a)  # 获取第一个a标签
print(soup.p)  # 获取第一个p标签
print(type(soup.a))  # <class 'bs4.element.Tag'>

二、获取标签的名称
print(soup.a.name)  # 获取a标签的名字

三、获取标签的属性
print(soup.a.arrts)  # 获取a标签内全部的属性
#{'href': 'http://example.com/elsie', 'class': ['sister']}

四、获取标签的内容   **
print(soup.a.arrts['href'])  # 获取a标签内的href属性
#http://example.com/elsie

五、嵌套选择标签
print(soup.p.b)   #获取第一个p标签内的b标签        #<b>$37</b>
print(soup.p.b.text)  # 打印b标签内的文本         #$37

六、子节点，子孙节点
# 获取子节点
print(soup.p.children)   # 获取第一个p标签全部的子节点，返回的是一个迭代器
print(list(soup.p.children))  # list转成列表
# 获取子孙节点
print(soup.body.descendants)  # 获取body标签内全部的子孙节点，返回的是一个生成器
print(list(soup.body.descendants))  # list转成列表
# 获取第一个p标签中全部的内容，返回的是一个列表
print(soup.p.contents)

七、父节点，祖先节点
#获取父节点
print(soup.a.parent)  # 获取第一个a标签内的父节点
# 获取祖先节点（爸爸，爸爸的爸爸，爸爸的爸爸的爸爸...以此类推）
print(list(soup.a.parents))  # 获取第一个a标签的祖先节点，返回的是一个生成器

# 八、兄弟节点  （sibling: 兄弟姐妹）
print(soup.a)
# 获取下一个兄弟节点
print(soup.a.next_sibling)
# 获取下一个的全部兄弟节点,返回的是一个生成器
print(soup.a.next_siblings)
print(list(soup.a.next_siblings))

# 获取上一个兄弟节点
print(soup.a.previous_sibling)
# 获取上一个的全部兄弟节点，返回的是一个生成器
print(list(soup.a.previous_siblings))

搜索文档树

BeautifulSoup定义了不少搜索方法，这里着重介绍2个：find() 和 find_all() 。其它方法的参数和用法相似orm

标签查找与属性查找：
标签
    -字符串过滤，字符串全局匹配
        name    属性匹配
        attrs   属性查找匹配
        text    文本匹配
    
    -正则过滤器
        re模块匹配
        
    -列表过滤器
        列表内的数据匹配
        
    -bool过滤器
        True匹配
            
    -方法过滤器
    
属性：
    -class_
    -id

一、字符串
find的默认参数，第一个是name，第二个是attrs，第四个是text
#name:根据标签名匹配节点
print(soup.find('p'))   #获取第一个p标签
print(soup.find_all('p'))   #获取全部的p标签

#attrs:根据属性查找匹配的节点
print(soup.find(attrs={'id':'p'}))  #查找id为p的标签
print(soup.find_all(attrs={'id':'p'}))  #查找全部id为p的标签

#text:根据文本匹配文档树内的文本
#推荐配合其余匹配规则使用，不然毫无心义
print(soup.find(text='$37'))  # 查找标签内为$37的文本

#name与text配合使用
print(soup.find_all(name='p',text='$37'))  # 查找全部文本为$37的p标签

#name与attrs配合使用
print(soup.find(name='a',attrs={'id':'link2'}))  # 查找第一个id为link2的a标签

#attrs与text配合使用
print(soup.find_all(attrs={'id':'link2'},text='Lacie'))  # 查找全部id为link2，文本为Lacie的标签

#name,attrs,text组合使用    **
print(soup.find_all(name='a',attrs={'id':'link3'},text='Tillie'))  # 查找全部id为link3，文本为Tillie的a标签

二、正则
print(soup.find(name=re.compile('a')))  #查找第一个标签名带有a的节点
print(soup.find_all(attrs={'id':'re.compile('link')'}))  # 匹配全部id名带有link的节点
print(soup.find_all(text=re.compile('and')))  # 匹配全部文本带有"and"的节点

三、列表（列表内能够匹配多个）
print(soup.find_all(name=['a','re.compile('e')']))  # 匹配全部a标签节点与全部标签中带有e的节点
print(soup.find_all(text=['$']))  # 找不到，由于$是精确查找
print(soup.find_all(text=['$37']))  # 查找$37文本，这样查找是没有意义的
print(soup.find_all(text=[re.compile('\$')]))  # 正则中$是特殊字符,因此须要转义

四、bool
print(soup.find_all(name=True)) #查找全部有标签名的节点
print(soup.find_all(attrs={'id':True})) #查找全部有id的节点
print(soup.find_all(text=True)) #查找全部文本

五、方法
#写一个只要有class没有id的a标签的函数
def has_class_not_id(arg):
    if arg.name == 'a' and arg.has_attr('class') and not arg.has_attr('id'):
        return arg.name
print(soup.find_all(name=has_class_not_id))

六、标签与属性查找   **后面可带[属性]||都括起来.text
# 标签
print(soup.find_all(attrs={'class': 'sister'}))
# 属性
# 根据class属性查找，由于class是关键字，因此后面须要加下划线
print(soup.find_all(class_='sister'))
# 根据id属性查找
print(soup.find_all(id='link2'))

修改文档树xml