Python 爬虫利器 Beautiful Soup 4 之文档树的搜索

时间 2019-12-05

标签 python 爬虫利器 beautiful soup 文档搜索栏目 Python 繁體版

原文原文链接

前面两篇介绍的是 Beautiful Soup 4 的基本对象类型和文档树的遍历, 本篇介绍 Beautiful Soup 4 的文档搜索

搜索文档树主要使用两个方法 find() 和 find_all()css

find_all():

find_all 是用于搜索节点中全部符合过滤条件的节点html

那么它支持哪些过滤器呢?html5

过滤器的类型:

字符串
正则表达式
列表
True
方法

字符串:python

查找文档中全部的<b>标签正则表达式

soup.find_all('b')

正则表达式:code

找出全部以b开头的标签htm

import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)

列表:对象

找到文档中全部<a>标签和<b>标签element

soup.find_all(["a", "b"])

True:文档

True 能够匹配任何值, 可是不会返回字符串节点

for tag in soup.find_all(True):
    print(tag.name)

方法:

能够定义一个方法, 方法只接受一个元素参数, 若是这个方法返回 True 表示当前元素匹配而且被找到, 若是不是则反回 False

这里是官方文档上面的例子:

下面代码找到全部被文字包含的节点内容

from bs4 import NavigableString
def surrounded_by_strings(tag):
    return (isinstance(tag.next_element, NavigableString)
            and isinstance(tag.previous_element, NavigableString))

for tag in soup.find_all(surrounded_by_strings):
    print tag.name

find_all 的方法原型:

find_all( name , attrs , recursive , text , **kwargs )

name 参数:

name 参数能够查找全部名字为 name 的 tag, 字符串对象会被自动忽略掉

soup.find_all("p") 查找全部的 p 标签

keyword 参数:

soup.find_all(id='link2',class_='title') , 这个将会查找到同时知足这两个属性的标签，这里的class必须用class_传入参数，由于class是python中的关键词

有些属性不能经过以上方法直接搜索，好比html5中的data-*属性，不过能够经过attrs参数指定一个字典参数来搜索包含特殊属性的标签

data_soup.find_all(attrs={"data-foo": "value"})

text 参数:

经过 text 参数能够搜索文档中的字符串内容, 与 name 参数的可选值同样, text 参数接受字符串 , 正则表达式 , 列表, True

soup.find_all("a", text="Elsie")

limit 参数:

find_all() 方法返回所有的搜索结构, 若是文档树很大那么搜索会很慢, 若是咱们不须要所有结果, 能够使用 limit 参数限制返回结果的数量, 效果与SQL中的limit关键字相似

soup.find_all("a", limit=2)

recursive 参数:

调用tag的 find_all() 方法时, Beautiful Soup 会检索当前 tag 的全部子孙节点,若是只想搜索 tag 的直接子节点, 能够使用参数 recursive=False

soup.html.find_all("title", recursive=False)

find():

find( name , attrs , recursive , text , **kwargs )

find_all() 方法将返回文档中符合条件的全部 tag, 尽管有时候咱们只想获得一个结果, 好比文档中只有一个<body>标签,那么使用 find_all() 方法来查找<body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法, 下面两行代码是等价的:

soup.find_all('title', limit=1)
soup.find('title')

惟一的区别是 find_all() 方法的返回结果是值包含一个元素的列表, 而 find() 方法直接返回结果

find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时, 返回 None

CSS选择器:

Beautiful Soup支持大部分的CSS选择器:

soup.select("body a")
soup.select("html head title")
soup.select("p > #link1")
soup.select(".sister")

更多详细用法戳: 官方文档 css 选择器

参考自 Beautiful Soup 4 官方文档.