Selenium 自动化验收测试

时间 2020-07-18

原文原文链接

Web 应用程序的验收测试经常涉及一些手工任务，例如打开一个浏览器，并执行一个测试用例中所描述的操做。可是手工执行的任务容易出现操做人员人为的错误，也比较费时间。所以，尽量将这些任务自动化，以消除人为因素，这是一种很好的作法。因而 Selenium 之类的测试工具就有了用武之地。Selenium 帮助您自动化验收测试，从而能够构建通过更严格测试、于是更为可靠也更易于维护的软件。html

验收测试也称黑盒测试和功能测试，是测试和检验应用程序是否能按照涉众（stakeholder）的功能性需求、非功能性需求和其余重要需求来运行的一种方法。验收测试是单元测试和组合测试的补充，后二者一般是使用 xUnit 框架编写的。验收测试也可使用编程语言来编写，可是 Selenium 和其余相似的工具，例如 Fitnesse，也支持用特定于工具的文档格式编写测试。java

验收测试与单元测试和组合测试有如下不一样之处：程序员

应用程序是做为一个完整的端到端实体来测试的，而不是像单元测试和组合测试那样，只是测试一个类或一组类。
验收测试是在用户界面（例如一个浏览器）上执行的，而不是在 Web 应用程序界面上执行的。
编写测试用例的人不必定知道应用程序的内部结构，所以也被称做黑盒测试。非技术性用户也能够编写验收测试。

背景知识

在讨论 Selenium 以前，我要介绍关于如下三个话题的一些背景知识，由于这些话题虽然不是本文的主题，可是和本文密切相关：ajax

持续集成
Ajax
Ruby/Ruby on Rails

持续集成

持续集成的目标是自动化构建和测试过程，以便天天自动运行一次或屡次这些过程，而不是每月手动地运行一次。使用持续集成的最大好处是，代码的更改会按期地自动被集成。若是系统受损，没有构建成功，Apache Continuum 和 Luntbuild 之类的持续集成工具能够自动经过发送电子邮件通知团队（见参考资料）。编程

Ajax

Ajax 是 Asynchronous JavaScript and XML 的缩写，这是为至关老的技术新创造的一个术语。Ajax 背后的主要思想是，因为只需更新部分页面而不是整个页面，因此 Web 应用程序能够更快地对用户操做作出响应。浏览器

Ajax 将更多的复杂性引入到 Web 应用程序中，这一点也反映在测试中。这是由于 Ajax 就像它的名称所代表的那样，使用 JavaScript 和异步 HTTP 请求来更新页面内容。每一个浏览器在实现中与其余浏览器相比有一些小小的不一样。Selenium 是测试和检测这些差别的很好的工具，由于它在大多数流行的浏览器中都可以运行。安全

Ruby/Ruby on Rails

Ruby 是一种开放源码的解释型脚本语言，用于快捷、容易地进行面向对象程序设计。它提供了大量的库，并且简单易用，还具备可扩展性和可移植性。该语言是由 Yukihiro “Matz” Matsumoto 创造的，目的是让程序员将更多的注意力放在手头的任务上，摆脱语法的烦恼。ruby

Rails 是由 David Heinemeier Hansson 创造的一种全栈的（full-stack）、开放源码的 Ruby Web 框架。Rails 的目标是使现实中的应用程序编写起来须要的代码更少，而且比 J2EE 和 XML 之类的语言更容易。全部层都可以无缝地一块儿工做，所以可使用一种语言编写从模板到控制流乃至业务逻辑的各类东西。Rails 使用 YAML 而不是 XML 配置文件以及注释形式的反射和运行时扩展。这里不存在编译阶段 —— 程序修改后将直接运行。服务器

什么是 Selenium？

Selenium 是 ThoughtWorks 专门为 Web 应用程序编写的一个验收测试工具。据 Selenium 主页所说，与其余测试工具相比，使用 Selenium 的最大好处是：app

Selenium 测试直接在浏览器中运行，就像真实用户所作的同样。Selenium 测试能够在 Windows、Linux 和 MacintoshAnd 上的 Internet Explorer、Mozilla 和 Firefox 中运行。其余测试工具都不能覆盖如此多的平台。

使用 Selenium 和在浏览器中运行测试还有不少其余好处。下面是主要的两大好处：

经过编写模仿用户操做的 Selenium 测试脚本，能够从终端用户的角度来测试应用程序。
经过在不一样浏览器中运行测试，更容易发现浏览器的不兼容性。

Selenium 的核心，也称 browser bot，是用 JavaScript 编写的。这使得测试脚本能够在受支持的浏览器中运行。browser bot 负责执行从测试脚本接收到的命令，测试脚本要么是用 HTML 的表布局编写的，要么是使用一种受支持的编程语言编写的。

Selenium 适用于如下浏览器：

	Internet Explorer	Mozilla	Firefox	Safari
Windows XP	6.0	1.6+, 1.7+	0.8+, 0.9+, 1.0
Red Hat Linux		1.6+, 1.7+	0.8+, 0.9+, 1.0+
Mac OS X 10.3	不支持	1.6+, 1.7+	0.8+, 0.9+, 1.0+	1.3+

Selenium 命令

经过 Selenium 命令，脚本编写者能够描述 browser bot 在浏览器中所执行的操做。能够将这些命令分红两类 —— 操做（action） 和断言（assertion）：

操做模拟用户与 Web 应用程序的交互。例如，单击一个按钮和填写一个表单，这些都是常见的用户操做，能够用 Selenium 命令来自动化这些操做。
断言验证一个命令的预期结果。常见的断言包括验证页面内容或当前位置是否正确。

在 Selenium 网站上能够找到可用命令的完整列表（见参考资料）。

Selenium 模式

能够按两种模式来使用 Selenium：test runner 和 driven。这两种模式在复杂性和编写方式方面有所不一样。driven 测试脚本编写起来每每要更复杂一些，由于它们是用编程语言编写的。可是若是使用 Python 或 Ruby 之类的高级动态编程语言，那么这种复杂性方面的差别就很小。

两种模式之间最大的不一样点在于，若是使用 driven 脚本，测试有一部分在浏览器以外运行，而若是使用 test runner 脚本的话，测试是彻底在浏览器中运行的。

无论是 test runner 仍是 driven 测试用例，均可以与持续集成工具集成。

test runner 模式

Selenium test runner 脚本，也称测试用例（test case），是用 HTML 语言经过一个简单的表布局编写的，如清单 1 所示。

清单 1. Selenium 测试用例的结构

<table border="1">
    <tr>
      <td>First command</td>
      <td>Target</td>
      <td>Value</td>
    </tr>
    <tr>
      <td>Second command</td>
      <td>Target</td>
      <td>Value</td>
    </tr>
  </table>

test runner 脚本一般与所测试的应用程序（AUT）部署在同一个服务器上。这是由于 browser bot 使用 JavaScript 来模拟用户操做。这些脚本在一个受限制的沙箱环境中运行。若是须要绕过这些限制，可使用一个代理。

test runner 脚本使用与 xUnit 框架相同的测试套件（test suite）和测试用例概念。测试用例和命令按照它们在测试套件和测试用例中出现的顺序依次执行。在清单 1 中：

第一列包含命令或断言。
第二列包含命令或断言的目标（target）。这里能够用多种受支持的组件定位符中的一种来指定目标。一般使用的是组件的 ID 或名称，但 XPath 和 DOM 定位符也是受支持的。
第三列包含用于为命令或断言指定参数的值。例如，当使用 type 命令时，这一列可能就是一个文本域所指望的值。

即便对于非技术人员来讲，test runner 脚本也易于阅读和编写。当在一个浏览器中打开清单 1 中的例子时，将获得相似这样的一个表：

First command	Target	Value
Second command	Target	Value

接下来，我将描述如何使用命令和断言编写一个简单可是完整的测试用例。

测试用例实例

执行清单 2 中的测试脚本时，它将执行如下操做：

经过进入 /change_address_form.html 打开变动地址页面。
在 ID 为 address_field 的文本框中输入 Betelgeuse state prison。
单击名为 Submit 的输入区。注意，这里使用 XPath 找到 Submit 按钮，这致使表单数据被发送到服务器。
验证页面是否包含文本 Address change successful。

清单 2. 在测试用例中使用命令和断言的例子

  <table>
    <tr>
      <td>open</td>
      <td>/change_address_form.html</td>
      <td></td>
    </tr>
    <tr>
      <td>type</td>
      <td>address_field</td>
      <td>Betelgeuse state prison</td>
    </tr>
    <tr>
      <td>clickAndWait</td>
      <td>//input[@name='Submit']</td>
      <td></td>
    </tr>
    <tr>
      <td>verifyTextPresent</td>
      <td>Address change successful</td>
      <td></td>
    </tr>
  </table>

测试套件

要达到对应用程序的彻底测试覆盖，一般须要不止一个测试用例。这就是 Selenium 使用测试套件的缘由。测试套件用于将具备相似功能的一些测试用例编成一组，以便让它们按顺序运行。

测试套件和测试用例同样，都是用简单的 HTML 表编写的。Selenium 执行的缺省测试套件的名称是 TestSuite.html。清单 3 展现了一个测试套件，该套件像一般的用户同样测试应用程序。注意，测试套件使用一个只包含一列的表，表中的每一行指向一个包含某个测试用例的文件。

清单 3. 测试套件示例

 <table>
    <tr>
      <td>Test suite for the whole application</td>
    </tr>
    <tr>
      <td><a href="test_main_page.html">Access main page</a></td>
    </tr>
    <tr>
      <td><a href="test_login.html">Login to application</a></td>
    </tr>
    <tr>
      <td><a href="test_address_change.html">Change address</a></td>
    </tr>
    <tr>
      <td><a href="test_logout.html">Logout from application</a></td>
    </tr>
  </table>

接下来我将把目光转移到 driven 测试脚本。

driven 模式

driven Selenium 脚本是用多种受支持的编程语言中的一种编写的 —— 目前可用的有 Java、Ruby 和 Python 驱动程序。这些脚本在浏览器以外的一个单独的进程中运行。驱动程序的任务是执行测试脚本，并经过与运行在浏览器中的 browser bot 进行通讯来驱动浏览器。驱动程序与 browser bot 之间的通讯使用一种简单的特定于 Selenium 的链接语言 Selenese。

driven 脚本比 test runner 脚本更强大、更灵活，能够将它们与 xUnit 框架集成。driven 脚本的缺点（与 test runner 脚本相比）是，这种脚本编写和部署起来更复杂。这是由于驱动程序必须执行如下任务：

启动服务器。
部署所测试的应用程序（AUT）。
部署测试脚本。
启动浏览器。
发送命令到 browser bot。
验证 browser bot 执行的命令的结果。

driven 脚本更依赖于应用程序运行时环境。例如，Java 驱动程序使用一个嵌入式 Jetty 或 Tomcat 实例来部署所测试的应用程序。目前，已经有人在致力于将 Selenium 集成到 Ruby on Rails 中，可是在我撰写本文之际，这个集成版本尚未被发布。

清单 4 摘自一个使用 Ruby 驱动程序的 driven 测试脚本。注意，我省略了用于启动服务器和浏览器的步骤，这个测试脚本代码几乎和 test runner 脚本同样简单。

清单 4. 使用 Ruby 驱动程序的例子

    puts selenium.open('/logout.html')
    puts selenium.verify_location('/index.html')

现实中的需求

在接下来的两节（现实中的需求和现实中的用例）中，我将描述如何在现实场景中使用 Selenium，并针对用 Ruby on Rails 和一点儿 Ajax 技术编写的一个简单的股票报价查看器应用程序编写 Selenium 测试用例。虽然这个应用程序是用 Ruby on Rails 编写的，可是也能够将这个例子应用于任何 Web 应用程序，由于测试脚本是按 test runner 模式以 HTML 编写的。这个示例应用程序是用 Ruby 1.8.3 和 Ruby on Rails 0.14.2 测试的，可是它也可能可使用更旧的或更新的版本。

若是有 Linux，那么发行版中一般已经包括了 Ruby。在命令提示符下运行 ruby -v，检查您所拥有的版本。对于大多数平台，均可以在http://www.ruby-lang.org/ 上找到一个 Ruby 发行版。

接下来的步骤是经过 RubyGems 打包系统安装 Ruby on Rails。为此，只需执行 gem install rails --include-dependencies。在某些平台上，必须执行一些额外的步骤，因此请访问 Ruby on Rails 网站，以得到更多细节。

在我撰写本文之际，目前可用的 Selenium 版本是 0.6。我已经将它集成在示例应用程序中（见下载小节），个人作法是从http://selenium.thoughtworks.com/ 下载 Selenium Core 包，而后将名为 selenium 的文件夹复制到用于静态内容的文件夹。在 Ruby on Rails 应用程序中，这个文件夹的名称是 public。在 J2EE Web 应用程序中，能够将 selenium 文件夹放在 Web 应用程序的根目录或 WAR 归档文件中。

最后一步是下载示例应用程序。从下载小节中得到这个包。解压应用程序，并打开一个命令提示符。而后转入应用程序被解压到的那个目录。为了启动应用程序，运行 ruby script/server。应该看到 Rails 成功启动了，如图 1 所示。

图 1. 从命令提示符下运行 Ruby on Rails

现实中的用例

在本节中，我将列出示例应用程序的用例。经过这些简化的用例，能够编写模拟用户所执行步骤的验收测试，并验证这些步骤的结果是否与预期相符。股票报价应用程序实现了如下四个用例：

登陆
查看股票
查看股票细节
退出

实现这些用例的代码已经编写好了；能够在 app 目录中找到该代码，测试用例在 public/selenium/tests 文件夹中。

登陆用例

大多数人都知道登陆页面是如何工做的 —— 输入用户名和密码，而后将数据提交到服务器。若是凭证有效，就能够成功登陆，并看到受安全保护的资源。在示例应用程序中，这个测试用例包含如下用户操做和断言，必须将它转换成一个 Selenium 测试用例：

单击登陆连接。
验证系统是否要求用户进行登陆。
输入用户名。
输入密码。
按下登陆按钮。
验证是否登陆成功。

图 2 展现了用于这些需求的 Selenium 测试用例。注意，我是在运行测试以后截取屏幕快照的。绿色箭头表示成功地经过验证的断言。

图 2. 登陆和查看股票测试用例

查看股票测试用例

查看股票页面显示一个公司列表。用于这个页面的测试用例很是简单，因此被包括在前一个测试用例的后面。该测试用例验证当前位置是否为 /main/list_stocks，以及页面是否包含文本 Click on a company name to view details。

查看股票细节用例

查看股票细节用例是在查看股票页面上触发的。用户在一个公司名称上单击鼠标时，就触发了到服务器的一个 Ajax 请求。服务器的响应包括该公司的详细信息，这些信息将插入到当前页面中，而没必要从新装载完整的页面。用于这个用例的测试用例执行如下用户操做：

单击公司名称 Acme Oil。
验证页面上是否显示该公司的详细信息。
单击公司名称 Acme Automotive。
验证页面上是否显示该公司的详细信息。

因为使用了 Ajax，请求是异步发生的。在通常的 Web 应用程序中，全部东西一般都是同步的，所以这一点提出了一种不一样的挑战。能够像测试其余功能同样来测试 Ajax 功能。唯一的不一样是，必须让 Selenium 暂停，等待 Ajax 命令完成。为此，可使用 pause 命令来等待 Ajax 命令的完成。另外，Joseph Moore 在他最近的 blog 贴中提到，还可使用 waitForValue 和 waitForCondition 命令代替 pause 命令（见参考资料）。

图 3 展现了被转换成 Selenium 用例的需求。

图 3. 查看股票细节测试用例

注意 pause 命令：必须使用这些命令，以便等待异步请求完成和更新页面内容。若是没有 500 毫秒的暂停，测试将失败（如图 4 所示）。

图 4. 失败的查看股票细节测试用例

pause 命令还测试 Ajax 功能的非功能性需求。500 毫秒对于 pause 命令是一个很好的值，由于 Ajax 请求应该快速地执行和完成。能够试着去掉pause 命令，看看结果如何。若是测试在您的机器上失败，那么试着将这个值增长到 1000 毫秒。

退出用例

退出用例很容易实现，简单来讲只有如下两步：

单击退出连接。
验证是否成功退出。

图 5 展现了最后这个测试用例。

图 5. 退出用例

全部测试都被添加到图 6 左侧显示的缺省测试套件中。

图 6. 示例应用程序的测试套件

执行测试套件

最后要作的是在 Mozilla Firefox 和 Microsoft Internet Explorer 中执行测试套件。为此，在浏览器中打开http://localhost:3000/selenium/TestRunner.html，而后单击图 6 中所示的 All 按钮。失败的测试用例和断言将被标记为红色，可是这里，在两个浏览器中全部用例都应该能够成功完成（一样见图 6）。注意，我使用的是 Mozilla Firefox 1.0.7 和 Internet Explorer 6.0。

还能够单步调试测试套件，这意味着 Selenium 将很慢地执行测试套件，这样当测试套件在浏览器中执行时，就能够看到它的每一步。

结束语

Selenium 是软件工程师、设计人员和测试人员的工具箱中又一个有用且重要的工具。经过将该工具与持续集成工具相结合，团队就能够将验收测试自动化，并构建更好的软件，由于他们能够更容易、更早、更频繁地发现 bug。Selenium 的另外一个优势是能够节省时间，使开发人员和测试人员没必要将时间花在本能够（也应该）自动化的手工任务上，从而让团队将精力放在更有价值的活动上。