python爬虫：BeautifulSoup 使用select方法详解

时间 2019-11-18

标签 python 爬虫 beautifulsoup 使用 select 方法详解栏目 Python 繁體版

原文原文链接

 1 html = """
 2 <html><head><title>The Dormouse's story</title></head>
 3 <body>
 4 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
 5 <p class="story">Once upon a time there were three little sisters; and their names were
 6 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
 7 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 8 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
 9 and they lived at the bottom of a well.</p>
10 <p class="story">...</p>
11 """

咱们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里咱们也能够利用相似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list
（1）经过标签名查找
html

print soup.select('title') 
#[<title>The Dormouse's story</title>]
 
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
print soup.select('b')
#[<b>The Dormouse's story</b>]

（2）经过类名查找
spa

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

（3）经过 id 名查找
code

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

（4）组合查找orm

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是同样的，例如查找 p 标签中，id 等于 link1的内容，两者须要用空格分开
htm

print soup.select('p #link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

直接子标签查找
blog

print soup.select("head > title")
#[<title>The Dormouse's story</title>]

（5）属性查找three

查找时还能够加入属性元素，属性须要用中括号括起来，注意属性和标签属于同一节点，因此中间不能加空格，不然会没法匹配到。
ci

print soup.select("head > title")
#[<title>The Dormouse's story</title>]
 
print soup.select('a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

一样，属性仍然能够与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格
it

print soup.select('p a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]