Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

时间  2019-11-11
标签 python3 python 网络 爬虫 实战 动态 渲染 页面 抓取 selenium 栏目 Python 繁體版
原文   原文链接

在前面一章咱们了解了 Ajax 的分析和抓取方式，这种页面其实也是 JavaScript 动态渲染的页面的一种情形，经过直接分析 Ajax 咱们仍然能够借助于 Requests 或 Urllib 来实现数据的抓取。php

不过 JavaScript 动态渲染的页面不止 Ajax 这一种。好比中国青年网：http://news.youth.cn/gn/，它的分页部分是由 JavaScript 生成的，并不是原始 HTML 代码，这其中并不包含 Ajax 请求。如 ECharts 的官方实例：http://echarts.baidu.com/demo...，其图形都是通过 JavaScript 计算以后生成的。再有淘宝这种页面，它即便是 Ajax 获取的数据，可是其 Ajax 接口含有不少加密参数，咱们难以直接找出其规律，也很难直接分析 Ajax 来抓取。css

可是数据总归是要抓取的，为了解决这些问题，咱们能够直接使用模拟浏览器运行的方式来实现，这样咱们就能够作到浏览器看到是什么样，抓取的源码就是什么样，也就是可见便可爬。这样咱们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面，不用管网页后台的 Ajax 接口到底有哪些参数，利用模拟浏览器的方式咱们均可以直接获取 JavaScript 渲染的最终结果，只要能在浏览器中看到，咱们都能抓取。html

在 Python 中提供了许多模拟浏览器运行的库，如 Selenium、Splash、PyV八、Ghost 等等，本章咱们介绍一下其中 Selenium 和 Splash 的用法，有了它们，咱们就不用再为动态渲染的页面发愁了。python

Selenium的使用

Selenium 是一个自动化测试工具，利用它咱们能够驱动浏览器执行特定的动做，如点击、下拉等等操做，同时还能够获取浏览器当前呈现的页面的源代码，作到可见便可爬。对于一些 JavaScript 动态渲染的页面来讲，此种抓取方式很是有效，本节让咱们来感觉一下它的强大之处吧。jquery

1. 准备工做

本节以 Chrome 为例来说解 Selenium 的用法，在本节开始以前请确保已经正确安装好了 Chrome 浏览器并配置好了 ChromeDriver，另外还须要正确安装好 Python 的 Selenium 库，详细的过程能够参考第一章的安装和配置说明。web

2. 基本使用

准备工做作好以后，首先咱们来大致看一下 Selenium 有一些怎样的功能，先用一段实例代码来感觉一下：算法

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的汇集地，零基础，进阶，都欢迎

运行代码以后能够发现会自动弹出一个 Chrome 浏览器，浏览器首先会跳转到百度，而后在搜索框中输入 Python 进行搜索，而后跳转到搜索结果页，等待搜索结果加载出来以后，控制台分别会输出当前的 URL，当前的 Cookies 还有网页源代码，如图 7-1 所示：api

Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

图 7-1 运行结果
在jon g zhi tai能够看到咱们获得的当前的 URL、Cookies、源代码都是浏览器中的真实内容。
因此说，若是咱们用 Selenium 来驱动浏览器加载网页的话，咱们就能够直接拿到 JavaScript 渲染的结果了，无论是什么加密通通不用再须要担忧。
下面咱们来详细了解一下Selenium的用法。浏览器

3. 声明浏览器对象

Selenium 支持很是多的浏览器，如 Chrome、Firefox、Edge 等，还有手机端的浏览器 Android、BlackBerry 等，另外×××面浏览器 PhantomJS 也一样支持。
咱们能够用以下的方式初始化：cookie

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

这样咱们就完成了浏览器对象的初始化并赋值为 browser 对象，接下来咱们要作的就是调用 browser 对象，让其执行各个动做，就能够模拟浏览器操做了。

3. 访问页面

咱们能够用 get() 方法来请求一个网页，参数传入连接 URL 便可，好比在这里咱们用 get() 方法访问淘宝，而后打印出源代码，代码以下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

运行以后咱们便发现弹出了 Chrome 浏览器，自动访问了淘宝，而后控制台输出了淘宝页面的源代码，随后浏览器关闭。
经过这几行简单的代码咱们即可以实现浏览器的驱动并获取网页源码，很是便捷。

4. 查找节点

Selenium 能够驱动浏览器完成各类操做，好比填充表单、模拟点击等等，好比咱们想要完成向某个输入框输入文字的操做，总得须要知道这个输入框在哪里吧？因此 Selenium 提供了一系列查找节点的方法，咱们能够用这些方法来获取想要的节点，以便于下一步执行一些动做或者提取信息。

单个节点

好比咱们想要从淘宝页面中提取搜索框这个节点，首先观察它的源代码，如图 7-2 所示：

Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

图 7-2 源代码
能够发现它的 ID 是 q，Name 也是 q，还有许多其余属性，那咱们获取它的方式就有多种形式了，好比find_element_by_name() 是根据 Name 值获取，ind_element_by_id() 是根据 ID 获取，另外还有根据XPath、CSS Selector 等获取的方式。
咱们用代码实现一下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
browser.close()

在这里咱们使用了三种方式获取输入框，根据 ID、CSS Selector 和 XPath 获取，它们返回的结果是彻底一致的。
运行结果：

<selenium.webdriver.remote.webelement.WebElement (session="764d5dc3113b4c60c143c4d69f91e60d", element="43e07ede-d084-474e-a03c-20451c4a4f51")>
<selenium.webdriver.remote.webelement.WebElement (session="764d5dc3113b4c60c143c4d69f91e60d", element="43e07ede-d084-474e-a03c-20451c4a4f51")>
<selenium.webdriver.remote.webelement.WebElement (session="764d5dc3113b4c60c143c4d69f91e60d", element="43e07ede-d084-474e-a03c-20451c4a4f51")>

能够看到三个节点都是 WebElement 类型，是彻底一致的。
在这里列出全部获取单个节点的方法：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

另外 Selenium 还提供了通用的 find_element() 方法，它须要传入两个参数，一个是查找的方式 By，另外一个就是值，实际上它就是 find_element_by_id() 这种方法的通用函数版本，好比 find_element_by_id(id) 就等价于 find_element(By.ID, id)，两者获得的结果彻底一致。
咱们用代码实现一下：

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()

这样的查找方式实际上功能和上面列举的查找函数彻底一致，不过参数更加灵活。

多个节点

若是咱们查找的目标在网页中只有一个，那么彻底能够用 find_element() 方法，但若是有多个节点，再用 find_element() 方法查找就只能获得第一个节点了，若是要查找全部知足条件的节点，那就须要用 find_elements() 这样的方法，方法名称中 element 多了一个 s ，注意区分。
好比咱们在这里查找淘宝左侧导航条的全部条目，如图 7-3 所示：

Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

图 7-3 导航栏
就能够这样来实现：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

运行结果：

[<selenium.webdriver.remote.webelement.WebElement (session="de61fc129db58e372b39e6a56452fcdf", element="f460bc2b-04a7-4659-a08f-e39026f44f78")>, <selenium.webdriver.remote.webelement.WebElement (session="de61fc129db58e372b39e6a56452fcdf", element="64d9673d-967e-4c45-bb09-60b6efc5ee2b")>, ···]

在此简化了一下输出结果，中间部分省略。
能够看到获得的内容就变成了列表类型，列表的每一个节点都是 WebElement 类型。
也就是说，若是咱们用 find_element() 方法，只能获取匹配的第一个节点，结果是 WebElement 类型，若是用 find_elements() 方法，则结果是列表类型，列表的每一个节点是 WebElement 类型。
函数的列表以下：

find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

固然咱们和刚才同样，也可能够直接 find_elements() 方法来选择，因此也能够这样来写：

lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')

结果是彻底一致的。

5. 节点交互

Selenium 能够驱动浏览器来执行一些操做，也就是说咱们可让浏览器模拟执行一些动做，比较常见的用法有：
输入文字用 send_keys() 方法，清空文字用 clear() 方法，另外还有按钮点击，用 click() 方法。
咱们用一个实例来感觉一下：

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

在这里咱们首先驱动浏览器打开淘宝，而后用 find_element_by_id() 方法获取输入框，而后用 send_keys() 方法输入 iPhone 文字，等待一秒以后用 clear() 方法清空输入框，再次调用 send_keys() 方法输入 iPad 文字，以后再用 find_element_by_class_name() 方法获取搜索按钮，最后调用 click() 方法完成搜索动做。
经过上面的方法咱们就完成了一些常见节点的动做操做，更多的操做能够参见官方文档的交互动做介绍：http://selenium-python.readth...。

6. 动做链

在上面的实例中，一些交互动做都是针对某个节点执行的，好比输入框咱们就调用它的输入文字和清空文字方法，按钮就调用它的点击方法，其实还有另外的一些操做它是没有特定的执行对象的，好比鼠标拖拽、键盘按键等操做。因此这些动做咱们有另外一种方式来执行，那就是动做链。
好比咱们如今实现一个节点的拖拽操做，将某个节点从一处拖拽到另一处，能够用代码这样实现：

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

首先咱们打开网页中的一个拖拽实例，而后依次选中要被拖拽的节点和拖拽到的目标节点，而后声明了 ActionChains 对象赋值为 actions 变量，而后经过调用 actions 变量的 drag_and_drop() 方法，而后再调用 perform() 方法执行动做，就完成了拖拽操做，如图 7-4 和 7-5 所示：
Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

图 7-4 拖拽前页面

Python3网络爬虫实战-3七、动态渲染页面抓取:Selenium

图 7-5 拖拽后页面
以上两图分别为在拖拽前和拖拽后的结果。
更多的动做链操做能够参考官方文档的动做链介绍：http://selenium-python.readth...。

7. 执行JavaScript

对于某些操做，Selenium API 是没有提供的，以下拉进度条等，能够直接模拟运行 JavaScript，使用 execute_script() 方法便可实现，代码以下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

在这里咱们就利用了 execute_script() 方法将进度条下拉到最底部，而后弹出 alert 提示框。
因此说有了这个，基本上 API 没有提供的全部的功能均可以用执行 JavaScript 的方式来实现了。

8. 获取节点信息

咱们在前面说过经过 page_source 属性能够获取网页的源代码，获取源代码以后就可使用解析库如正则、BeautifulSoup、PyQuery 等来提取信息了。
不过既然 Selenium 已经提供了选择节点的方法，返回的是WebElement 类型，那么它也有相关的方法和属性来直接提取节点信息，如属性、文本等等。这样的话咱们就能够不用经过解析源代码来提取信息了，很是方便。
那接下来咱们就看一下能够经过怎样的方式来获取节点信息吧。

获取属性

咱们可使用 get_attribute() 方法来获取节点的属性，那么这个的前提就是先选中这个节点。
咱们用一个实例来感觉一下：

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

运行以后程序便会驱动浏览器打开知乎的页面，而后获取知乎的 LOGO 节点，而后将它的 class 打印出来。
控制台输出结果：

<selenium.webdriver.remote.webelement.WebElement (session="e08c0f28d7f44d75ccd50df6bb676104", element="0.7236390660048155-1")>
zu-top-link-logo

咱们经过 get_attribute() 方法，而后传入想要获取的属性名，就能够获得它的值了。

获取文本值

每一个 WebEelement 节点都有 text 属性，咱们能够经过直接调用这个属性就能够获得节点内部的文本信息了，就至关于 BeautifulSoup 的 get_text() 方法、PyQuery 的 text() 方法。
咱们用一个实例来感觉一下：

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

在这里们依然是先打开知乎页面，而后获取提问按钮这个节点，再将其文本值打印出来。
控制台输出结果：

提问

获取ID、位置、标签名、大小

另外 WebElement 节点还有一些其余的属性，好比 id 属性能够获取节点 id，location 能够获取该节点在页面中的相对位置，tag_name 能够获取标签名称，size 能够获取节点的大小，也就是宽高，这些属性有时候仍是颇有用的。
咱们用实例来感觉一下：

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

在这里咱们首先得到了提问按钮这个节点，而后调用其 id、location、tag_name、size 属性便可获取对应的属性值。

9. 切换Frame

咱们知道在网页中有这样一种节点叫作 iframe，也就是子Frame，至关于页面的子页面，它的结构和外部网页的结构是彻底一致的。Selenium 打开页面后，它默认是在父级Frame 里面操做，而此时若是页面中还有子 Frame，它是不能获取到子 Frame 里面的节点的。因此这时候咱们就须要使用 switch_to.frame() 方法来切换 Frame。
咱们首先用一个实例来感觉一下：

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

控制台输出：

NO LOGO
<selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.13792611320464965-2")>
RUNOOB.COM

咱们仍是以上文演示动做链操做的网页为实例，首先咱们经过 switch_to.frame() 方法切换到子 Frame 里面，而后咱们尝试获取父级 Frame 里的 LOGO 节点，是不能找到的，找不到的话就会抛出 NoSuchElementException 异常，异常被捕捉以后就会输出 NO LOGO，接下来咱们从新切换回父Frame，而后再次从新获取节点，发现就能够成功获取了。
因此，当页面中包含子 Frame 时，若是咱们想获取子Frame 中的节点，须要先调用 switch_to.frame() 方法切换到对应的 Frame，而后再进行操做便可。

10. 延时等待

在 Selenium 中，get() 方法会在网页框架加载结束以后就结束执行，此时若是获取 page_source 可能并非浏览器彻底加载完成的页面，若是某些页面有额外的 Ajax 请求，咱们在网页源代码中也不必定能成功获取到。因此这里咱们须要延时等待必定时间确保节点已经加载出来。
在这里等待的方式有两种，一种隐式等待，一种显式等待。

隐式等待

当使用了隐式等待执行测试的时候，若是 Selenium 没有在DOM 中找到节点，将继续等待，超出设定时间后则抛出找不到节点的异常, 换句话说，当查找节点而节点并无当即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是 0。
咱们用一个实例来感觉一下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的汇集地，零基础，进阶，都欢迎

在这里咱们用 implicitly_wait() 方法实现了隐式等待。

显式等待

隐式等待的效果其实并无那么好，由于咱们只是规定了一个固定时间，而页面的加载时间是受到网络条件影响的。
因此在这里还有一种更合适的显式等待方法，它指定好要查找的节点，而后指定一个最长等待时间。若是在规定时间内加载出来了这个节点，那就返回查找的节点，若是到了规定时间依然没有加载出该节点，则会抛出超时异常。
咱们用一个实例来感觉一下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

在这里咱们首先引入了 WebDriverWait 这个对象，指定好最长等待时间，而后调用它的 until() 方法，传入要等待条件 expected_conditions，好比在这里咱们传入了 presence_of_element_located 这个条件，就表明节点出现的意思，其参数是节点的定位元组，也就是 ID 为 q 的节点搜索框。
因此这样能够作到的效果就是，在 10 秒内若是 ID 为 q 的节点即搜索框成功加载出来了，那就返回该节点，若是超过10 秒尚未加载出来，那就抛出异常。
对于按钮，能够更改一下等待条件，好比改成 element_to_be_clickable，也就是可点击，因此查找按钮时是查找 CSS 选择器为 .btn-search 的按钮，若是 10 秒内它是可点击的也就是成功加载出来了，那就返回这个按钮节点，若是超过 10 秒还不可点击，也就是没有加载出来，那就抛出异常。
运行代码，在网速较佳的状况下是能够成功加载出来的。
控制台输出：

<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-1")>
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-2")>

能够看到控制台成功输出了两个节点，都是 WebElement 类型。
若是网络有问题，10 秒内没有成功加载，那就抛出TimeoutException，控制台输出以下：

TimeoutException Traceback (most recent call last)
<ipython-input-4-f3d73973b223> in <module>()
      7 browser.get('https://www.taobao.com/')
      8 wait = WebDriverWait(browser, 10)
----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))

关于等待条件，其实还有不少，好比判断标题内容，判断某个节点内是否出现了某文字，在这里将全部的加载条件列举以下：

等待条件 含义
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 节点加载出，传入定位元组，如(By.ID, 'p')
visibility_of_element_located 节点可见，传入定位元组
visibility_of 可见，传入节点对象
presence_of_all_elements_located 全部节点加载出
text_to_be_present_in_element 某个节点文本包含某文字
text_to_be_present_in_element_value 某个节点值包含某文字
frame_to_be_available_and_switch_to_it frame 加载并切换
invisibility_of_element_located 节点不可见
element_to_be_clickable 节点可点击
staleness_of 判断一个节点是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected 节点可选择，传节点对象
element_located_to_be_selected 节点可选择，传入定位元组
element_selection_state_to_be 传入节点对象以及状态，相等返回True，不然返回False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，不然返回False
alert_is_present 是否出现Alert

更多详细的等待条件的参数及用法介绍能够参考官方文档：http://selenium-python.readth...。

11. 前进后退

咱们日常使用浏览器都有前进和后退功能，使用 Selenium 也能够完成这个操做，使用 back() 方法能够后退，forward() 方法能够前进。
咱们用一个实例来感觉一下：

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

在这里咱们连续访问三个页面，而后调用 back() 方法就能够回到第二个页面，接下来再调用 forward() 方法又能够前进到第三个页面。

12. Cookies

使用 Selenium 还能够方便地对 Cookies 进行操做，例如获取、添加、删除 Cookies 等等。
咱们再用实例来感觉一下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

首先咱们访问了知乎，而后加载完成以后，浏览器实际上已经生成了 Cookies 了，咱们调用 get_cookies() 方法就能够获取全部的 Cookies，而后咱们添加一个 Cookie，传入一个字典，有 name、domain、value 等内容。接下来咱们再次获取全部的 Cookies，能够发现结果就多了这一项 Cookie。最后咱们调用 delete_all_cookies() 方法，删除全部的 Cookies，再从新获取，结果就为空了。
控制台输出：

[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[]

经过以上方法来操做 Cookies 仍是很是方便的。

13. 选项卡管理

咱们在访问网页的时候会开启一个个选项卡，那么在 Selenium 中也能够对选项卡进行操做。

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

控制台输出：

['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']

首先咱们访问了百度，而后调用了 execute_script() 方法，传入 window.open() 的 JavaScript 语句新开启一个选项卡，而后接下来咱们想切换到该选项卡，能够调用 window_handles 属性获取当前开启的全部选项卡，返回的是选项卡的代号列表，要想切换选项卡只须要调用 switch_to_window() 方法，传入选项卡的代号便可。在这里咱们将第二个选项卡代号传入，即跳转到了第二个选项卡，而后接下来在第二个选项卡下打开一个新的页面，而后切换回第一个选项卡能够从新调用 switch_to_window() 方法，再执行其余操做便可。
如此以来咱们便实现了选项卡的管理。

14. 异常处理

在使用 Selenium 过程当中，不免会遇到一些异常，例如超时、节点未找到等错误，一旦出现此类错误，程序便不会继续运行了，因此异常处理在程序中是十分重要的。
在这里咱们可使用 try except 语句来捕获各类异常。
首先咱们演示一下节点未找到的异常，示例以下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')

在这里咱们打开百度页面，而后尝试选择一个并不存在的节点，这样就会遇到异常。
运行以后控制台输出以下：

NoSuchElementException Traceback (most recent call last)
<ipython-input-23-978945848a1b> in <module>()
      3 browser = webdriver.Chrome()
      4 browser.get('https://www.baidu.com')
----> 5 browser.find_element_by_id('hello')

能够看到抛出了 NoSuchElementException 这类异常，这一般是节点未找到的异常，为了防止程序遇到异常而中断，咱们须要捕获一下这些异常。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()
Python资源分享qun 784758214 ,内有安装包，PDF，学习视频，这里是Python学习者的汇集地，零基础，进阶，都欢迎

如上例所示，这里咱们使用 try except 来捕获各种异常，好比咱们对 find_element_by_id() 查找节点的方法捕获 NoSuchElementException 异常，这样一旦出现这样的错误，就进行异常处理，程序也不会中断了。
控制台输出：
No Element
更多的异常累能够参考官方文档：http://selenium-python.readth...，若是出现了某个异常，咱们对它进行捕获便可。

15. 结语

到此咱们就基本对 Selenium 的经常使用用法有了大致的了解，有了 Selenium，处理 JavaScript 再也不是难事。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程