数十位行业高管讲述：自动化测试优点及解决的现实问题

众所周知，测试的技能要求再也不简单，自动化测试做为软件测试的主流发展方向。为了收集当前和将来自动化测试状态的看法，咱们询问了来自27家公司的31位高管，“自动化测试解决了哪些现实问题？” 这是他们告诉咱们的：

受访者

• 公关公司首席执行官Gil Sever和 Applitools首席营销官 James Lamberti
• 首席运营官Shailesh Rao和 BrowserStack高级产品经理 Kalpesh Doshi
• Aruna Ravichandran，CA Technologies的 DevOps产品和解决方案营销副总裁
• Pete Chestna，CA Veracode开发人员参与总监
• Julian Dunn，产品营销总监， 厨师
• CloudBees质量工程经理 Isa Vilacides
• 电气云首席技术官 Anders Wallgren
• 安迪网络安全应用安全高级经理 Kevin Fealey
• 质量保证经理Hameetha Ahamed和 FileCloud首席营销官 Amar Kanagaraj
• Charles Kendrick，Isomorphic Software首席技术官
• Adam Zimman，LaunchDarkly产品副总裁
• 首席执行官兼联合创始人Jon Dahl和 Mux高级工程师 Matt Ward
• Pensa首席执行官 Tom Joyce
• Roo Carmel，Perfecto Mobile首席营销和企业战略官
• Aimeter Bareket，Perimeter 81的首席执行官兼联合创始人
• 产品营销总监Jeff Keyes和 Plutora首席营销官 Bob Davis
• Ranorex董事总经理 Christoph Preschern
• 热带雨林QA首席信息官 Derek Choy
• Lubos Parobek，Sauce Labs产品副总裁
• Walter O'Brien，Scorpion计算机服务公司首席执行官兼创始人
• SigOpt首席执行官兼联合创始人 Scott Clark博士
• SmartBear产品经理 Prashant Mohan
• SysAid Technologies首席执行官 Sarah Lahav
• 茄子首席技术官 Antony Edwards
• Wayne Ariola，首席营销官， Tricentis
• WhiteHat Security首席科学家 Eric Sheridan
• Roman Shaposhnik，Zededa联合创始人产品和战略副总裁

优势

• 简而言之，自动化测试对于1）节省时间很是宝贵- 由于测试全天候自动运行; 2）报告 - 咱们得到每日看法; 3）一致性和准确性：手动测试周期可能致使错误，而自动化测试每次都能得到准确的结果; 4）省钱 ; 5）减小资源，例如手动测试人员; 6）全覆盖测试。
• 1） 管道的通常转换，从每一年发布一次到每一年17-20次。 解决测试和QA瓶颈问题。咱们与客户合做，经过多种测试类型的自动化来推进这些转换。2） 汽车和健康领域的下一代数字化转型，具备独特的用例，可实现自动化，测试和覆盖。该链接的汽车 是他们的＃3垂直。它能够测试从应用程序到后端服务器以及链接到后端的完整用户体验。它有益于健康从提供药物到以数字方式管理消费，并对您如何以及什么时候消费药物负责。咱们在云中建立虚拟化患者。公司可使用链接的设备跟踪它们。咱们向移动应用报告并向患者提供可见性并向医生报告。物联网是下一代数字化转型。
• 最初的用例是自动化测试 - 固件测试5000次，线性测试耗时。咱们在一系列机器上分发测试。自动化测试缩短了周期时间。它有助于在集群中运行Selenium测试的UI测试，以加速Selenium测试。 Selenium Grid是实现此目的的一种方法。
• 做为测试云平台， 咱们使客户可以在各类浏览器和设备上进行测试。 咱们还提供调试工具，例如如何从浏览器中提取JS控制台日志和硬件文件。咱们帮助客户发现错误并快速解决。缩小规模，咱们的大客户天天都要运行数万次测试，而且可能会被信息和数据所淹没。咱们引入了分析来对数据进行排序，以找出瓶颈和错误的根本缘由。更成熟的公司正在从内部Selenium网格转向迁移到云，由于他们没有他们想要的平台覆盖范围 - 测试Mac，Safari和iOS。如何得到更好的报道。很难用常绿浏览器维护。咱们为他们这样作。天天数千次测试的错误率。硒多是一个棘手的协议。不想花费全部时间来追逐错误。提升速度。咱们对每次拉力测试或提交进行测试，所以，咱们须要站起来100个节点，以便更快地向开发人员提供反馈。若是你没有网格，你须要进入CI的世界。花更多时间在最佳实践上 - 测试编写和框架 - 若是您没有专业知识来采用测试框架并以高水平的并行性进行优化。
• 传统安全团队没法在DevOps世界中扩展。 自动 安全 测试是容许这些团队扩展的关键。 安全团队须要与开发人员密切合做，但这种沟通方式必须经过自动化测试。那些在开发生命周期内直接利用自动安全测试的安全团队有更强的能力与Agile和DevOps开发商店保持同步。
• 自动化测试使您能够更自信地 提供修复和功能。所以，它加速了开发并容许更快地推出新版本 - 这对基本上每一个行业都有影响**，从生物技术到国防。**
• 必须**验证涉及大量数据的复杂方案时，**自动化测试相当重要 。 例如，咱们有一位 航空公司 客户使用咱们的软件来确保他们的网络预订系统正常运行。咱们在测试用例中支持嵌套循环的能力解决了他们验证多个源和目标点的数据的独特问题。咱们有另外一位客户正在使用咱们的解决方案来测试控制手持式医疗设备的移动应用程序 。他们的应用必须完美运行，所以100％的测试覆盖率相当重要。自动化测试可帮助他们提供高质量的产品。
• 咱们经过自动化测试从单片微服务转向 大规模微服务。您必须这样作才能扩展和沟通。咱们在平常工做环境中使用它。每一段进行测试的代码都有90％的代码覆盖率。
• 1）向左移动 - 一个拥有大型QA团队的客户端最终用于执行测试。一旦他们意识到须要尽早测试，他们就会在编写应用程序代码时开始编写测试。QA团队成为工程团队的一员。核心测试在SDLC的早期进行。咱们**可以更快地发布（50％）而且代码质量自动提升，而且因为在周期早期发现错误而致使成本降低。 **
• 公司的增值正在 帮助客户成为云原生开发者。专一于业务逻辑，以开辟更普遍的测试可能性。采用业务逻辑并在具备单元测试框架的模拟环境中运行。嵌入式测试看起来像J2EE测试。可使用全部传统的Java测试框架。
• 1）跨浏览器测试，2）跨设备测试，3）回归测试UI / UX，4）本地化测试 - 确保以全部语言进行测试。 在微服务和操做系统发生变化的动态技术领域，扩展测试，扩展到后期制做 - 监控和持续测试。经过全天候监控，咱们帮助公司克服这个问题。
• 若是对软件测试、接口测试、自动化测试、性能测试、LR脚本开发、面试经验交流。感兴趣能够175317069，群内会有不按期的发放免费的资料连接，这些资料都是从各个技术网站搜集、整理出来的，若是你有好的学习资料能够私聊发我，我会注明出处以后分享给你们。
• DevOps和敏捷实践测试人员被认为是有价值的。 咱们为质量保证团队提供看法，所以他们能够影响从开始到生产的质量。 查看分析，了解错误或人员对质量的负面影响。咱们为他们提供了一个空间，由于咱们从自动化和测试工具中收集指标，并提供总体分析，以尽早提升质量。咱们提供需求可追溯性矩阵 - 有效和无效的热图。从逻辑的角度看待覆盖范围。这个处理要求很复杂，而且有不少错误。提供覆盖的智能概念。
• 在发布以前，测试正在运行，一般会遇到不少复杂的代码级错误。使用双因素身份验证代码破坏了用户登陆。自动测试捕获的 错误，并在发布以前修复。在另外一个案例中，公共共享连接被打破。从长到短的URL被更改了。二者都是经过自动化测试捕获的
• 使用脚本技术，您没法管理对测试脚本的更改。在敏捷或DevOps进程的频率和节奏。能够用一个sprint来作两个或三个sprint来执行测试。 使用基于模型的方法，您能够实时更改和执行更改，由于它是无代码的。 具备测试基础结构的客户端接近其应用程序的三倍代码。因为您正在使用代码行，所以必须经过更改脚原本跟上更改的代码。咱们使用抽象模型更新代码。
• 真实世界的问题包括可以确保您在开发过程当中实际运行测试，并确保您不会错过它们或跳过它们。 现代自动化测试具备代码清洁等优势。 它实际上能够评估语法。它能够验证注释以确保注释实际插入代码中。它能够确保您实际上在代码库中实现良好的开发实践和良好的编码实践。自动化测试更多的是测试已经构建或已经签入的代码，而不是正在运行的代码。之前，你不能把责任归还给开发者。这是过去几年中自动化测试真正改变的另外一件事 - 自动化测试如今将更多的测试责任放在开发人员本身身上，而不是这个独立且独特的QA或QE团队。这就是许多正在转变为持续交付模式的团队所发生的事情。大多数人从瀑布到敏捷到持续交付 - 他们的任务实际上变得不一样，由于测试自己已集成到您的代码签入过程当中。转换所暗示的一点是，您并不真正须要此质量保证或质量工程组织，或者您没有以相同的方式利用它们。

工业

• 对于金融服务和医疗保健等高度监管行业的公司而言，更快，更安全的结果是 使用持续测试来指出须要培训以得到速度的地方。
• 自动化测试使客户可以检查健康情况的正确性 - 医疗保健公司 每隔15到20分钟运行一次。病毒扫描程序中止工做 - 无声地失败。次日早上，Ops可以看到问题所在，而不是三到四个月。一位客户正在使用工具来知足审计要求。它提供数据点和响应查询的能力以及可致使合规性上升或降低的可追溯性。
• 咱们有一个新的 视频播放器，新的iOS，15％的错误率。它如何初始化播放器有一个简单的错误。它减小到不到百分之一。
• 零售，银行和保险等电子商务公司拥有产品或服务目录。网站是动态的，个性化的，而且能够从世界各地访问。客户须要在他们的店面上进行快速测试。正在对网站进行快速和按期的更改。其余人则拥有 移动应用程序，航空公司，银行，客户须要使用的应用程序，以确保在各类设备上进行测试以了解功能的工做原理。测试设备的功能。拥有移动应用的Tech公司能够运做 Twitter 是一个大客户。
• 一家大型电信公司正在使用AI来解决测试问题。 2号门的承包商必须返回3号门，以肯定要测试的测试脚本数量以及须要批准的FTE数量。咱们给了他一种自动生成模型的方法，他能够指定相对于模型的测试，而且他能够本身进行测试，由于一切都是自动化的。他的边缘通过了屋顶。
• Rabobank在荷兰 - 500个分支机构，使用敏捷需求设计师实现测试用例自动化的巨大价值。效率提升30％。金融服务在测试脚本建立方面减小了70％。Auto Trader将整合时间从三天缩短到三小时。他们节省了567个工时，或每一个版本2.5我的，并避免了300,000美圆的测试硬件和软件成本。他们将缺陷减小了25％。使用咱们的连续测试平台与 电子商务零售商合同推出新的Rhianna生产线 两个月准备促销和最终设计，五天进行负载测试。基于SaaS的平台以10倍的速度进行了测试，在Rhianna发布有关该产品的推文后，该网站的处理时间超过18小时。
• 咱们与联邦政府合做， 并覆盖其遗留系统，以识别潜在的漏洞。
• 诺基亚 接到客户，网络服务提供商，北美全部蜂窝电话塔（200,000）的电话，下面有硬件来管理无线传输。有时他们须要更新从4G到5G。咱们须要更新解决方案以在部署以前知足需求测试，而后在现场进行监控。设计，验证，构建，部署。
• 算法交易公司在构建彻底自动化的CI / CD管道流程时，他们将使用Jenkins嵌入咱们的解决方案并成为生态系统的一部分，所以在签入代码时，它能够转移到测试并决定他们想要运行哪一个测试。结果在30分钟内。它被反馈到CI / CD工具中以肯定下一步是什么。若是它没有经过，该工具会将代码推送到错误跟踪系统JIRA，而后将其发送回开发人员，而后从新测试失败的内容。彻底集成到CI / CD中。
• 金融服务将应用程序 应用于API，以更快地发布行为驱动的设计框架。有一个模板化的测试开发人员能够编写以涵盖安全性。

其余

• 一般，编写代码更改的自动化测试所花费的时间多于本身进行更改所需的时间，所以在编写测试时可能很难得到支持。可是，自动化测试能够为您提供：1）更频繁，更快速，可重复且可靠的测试运行。这是由于一旦测试自动化，运行它的成本是最低的。除此以外，自动化测试不容易因人为错误而致使失败。2）持续反馈，从而对您的代码更改充满信心。这样能够实现更长的交付周期，并使团队可以实现持续集成和交付。3）**正如Martin Fowler所说，“若是有什么事情会受到伤害，那就更频繁地去作”。**因为几个因素，自动化测试可能会出现片状，其中一个因素是产品不够耐用。拥有编写自动化测试的文化将使您的代码更易于测试。