爬虫之XPath

 

 XPath

XPath 是一门在 XML 文档中查找信息的语言。XPath 用来在 XML 文档中对元素和属性进行遍历。

优势:

1） 可在XML中查找信息 
2） 支持HTML的查找 
3） 经过元素和属性进行导航

因为XPath属于lxml库模块，因此首先要安装库lxml

pip install lxml

基础语法

选取节点

　　经常使用的表达式

2、谓语

谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点

3、通配符

Xpath经过通配符来选取未知的XML元素

 

4、取多个路径

使用“|”运算符能够选取多个路径

5、Xpath轴

轴能够定义相对于当前节点的节点集

6、功能函数    

使用功能函数可以更好的进行模糊搜索

代码实例

import requests
from lxml import etree

baidu=requests.get('http://www.baidu.com') #请求百度页面
baidu.encoding=baidu.apparent_encoding #页面编码
tree=etree.HTML(baidu.text)  #参数只能是str格式的
a_list=tree.xpath('//*[@id="u1"]/a') #获取的结果为列表形式,故需取其中一个
for a in a_list:
    print(a.text,a.xpath('./@href')[0]) #遍历获取每一个a标签的文本及超连接地址