大数据测试

什么是大数据

大数据是指没法在必定时间范围内用传统的计算机技术进行处理的海量数据集。

对于大数据的测试则须要不一样的工具、技术、框架来进行处理。

大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师须要掌握极其高的技术功底。

须要你学习掌握更多的大数据技术、Hadoop、Mapreduce等等技术。

大数据测试策略

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特点。

固然在大数据测试时，功能测试和性能测试是一样很关键的。

对于大数据测试工程师而言，如何高效正确的验证通过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。

由于大数据高效的处理测试速度，它要求测软件工程师具有高水平的测试技术才能应对大数据测试。

咱们来看下大数据处理的三个特性：

• 大批量

• 实时性

• 可交互

另外，数据质量也一样是大数据测试的一个重要维度。

所以在进行应用程序测试以前，必须确保数据质量，而且考虑把数据质量做为数据库测试的一部分。涉及数据的各类特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

大数据应用测试步骤

下面咱们一块儿看看大数据应用的测试过程是怎么样的。

总体而言，大数据测试大致能够分为三大步骤：

• 步骤一，数据预处理验证
  在进行大数据测试时，首先要预hadoop前验证数据的准确性等等。

1. 咱们数据来源多是关系数据库、日志系统、社交我那个落等等，全部咱们应该确保数据能正确的加载到系统中

2. 咱们要验证加载的数据和源数据是一致的

3. 咱们要确保正确的提取和加载数据至hdfs中

• 步骤二，Map Reduce验证 在进行大数据测试时，第二个关键步骤是“Map Reduce”验证。在本阶段，咱们主要验证每个处理节点的业务逻辑是否正确，并验证在多个运行后，确保：

1. Map Reduce过程工做正常

2. 数据聚合、分离规则已经实现

3. 数据key-value关系已正确生成

4. 验证通过map reduce后数据的准确性等特性

• 步骤三，结果验证 在本阶段主要验证在通过大数据工具/框架处理后，生成的最终数据的成果。

主要验证：

1. 验证数据转换规则是否正确应用

2. 验证数据的完整性和是否成功持久化到目标系统

3. 验证无数据损坏

架构测试

Hadoop处理海量数据是很是的消耗资源的，良好的架构是确保大数据项目成功的基础。糟糕的涉及会致使性能急剧的降低，进而使得系统没法知足咱们的须要，所以咱们须要，或是说至少在Hadoop环境下进行性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的状况。

性能测试是一个复杂的工做，它贯穿整个测试周期，须要关注内存、CPU、网络等等指标。

故障恢复测试则是验证数据处理过程当中可能出现的故障，为作好意外的恢复作好相应的应对措施。

性能测试

大数据性能测试主要包含如下几个部分：

• 数据提取、存储效率

在本阶段，咱们主要验证大数据应用从源数据中提取、加载数据的效率。

一是验证单位时间内数据的提取、加 载效率。

二是验证数据持久化至mongodb等库的效率等等

• 数据处理

在本阶段，咱们验证map reduce任务的执行效率，重点关注的是数据处理的效率。固然这个过程可能也会涉及到数据的持久化相关指标，例如存储至HDFS读写效率等等，一样也会涉及在内存中处理效率，即咱们的处理算法效率等等

• 子组件性能

大数据处理，通常都会须要综合利用各类组件来辅助处理，因此咱们也是须要关注这些辅助组件的性能

性能测试策略

大数据应用性能测试涉及海量的结构化和非结构化的数据，与咱们平时所面对的业务系统有所不一样，因此咱们须要针对大数据应用制定特定的测试策略，以应对海量的数据。

根据上图性能测试执行过程通常是这样的：

1. 在性能测试前须要先初始化大数据集群环境

2. 梳理和设计大数据性能测试场景

3. 准备大数据性能测试脚本

4. 执行并分析测试结果（若是指标异常，则调优相应的组件并从新测试）

5. 优化配置

性能测试基础准备

在大数据性能测试时，须要准备相关的基础工做，以下：

• 数据准备，咱们须要在不一样的节点准备什么量级数据？

• 日志预估，在测试过程当中，可能会生成多大的日志，日志的可能增量是什么样的？

• 并发，在测试时，可能会有多少线程并发读和写？

• 超时设置，应对设置怎样的链接超时？查询超时？写超时等等？

• JVM参数，如何设置最优的jvm参数，heap size、GC机制等等

• Map Reduce，咱们应该选择什么样的sort、merge等算法？

• 消息队列，消息队列长度会怎么样？等等

必备的测试环境

大数据测试不一样于常规的应用测试，你应该具有如下一些基础环境：

• 拥有足够的存储设备来存储和处理大数据

• 拥有集群来作分布式节点和数据处理

• 至少拥有足够的cpu、内存来确保有高性能的处理基础

大数据测试的挑战

对于从事大数据测试的软件测试工程师而言，与传统的测试工做相对比，咱们可能面临的如下几个可能的挑战：

• 自动化
  自动化测试是从事大数据测试必备的技术，但自动化测试工具可能并不具有处理测试过程所引起的异常的能力，意味着现有工具可能并不适用，编程能力将是更好的一种技能。

• 虚拟化 当前业内大规模使用虚拟化技术，但虚拟机的延迟有可能形成大数据实时测试处理的异常。

对大数据而言，管理影像信息也将是一个巨大的问题。

• 海量数据集

1. 须要验证的数据量巨大，并且须要更快的处理速度

2. 须要有效的自动化测试手段

3. 须要尽量的跨平台

大数据性能测试的挑战

对于从是大数据性能测试，与传统性能测试相比较，咱们要面临是样的挑战呢，可能有如下几个方面：

• 技术的多样化，复杂化，面对不一样的大数据解决方案，咱们可能须要掌握不一样的技术和定制不一样的测试解决方案

• 无通用的工具，目前业界暂无通用的标准的大数据性能测试工具，这意味着咱们须要根据大数据应用解决方案技术，要自行开发或整合多种相关工具才可能解决问题

• 测试环境复杂化，由于海量的数据，咱们所须要测试环境亦会更加复杂，所消耗的基础成本会更高

• 监控解决方案，目前有的监控解决方案有限，但经过整合不一样的监控工具，大体可能拥有一套相对可行的监控解决方案

• 诊断方案，因为大数据应用所涉及的技术、环境复杂性，对于问题的诊断调优，咱们须要根据实际状况来进行开发定制

从上面几个方面来看，从事大数据性能测试所要面临的问题是相对复杂的，尤为对当下国内的测试工程师而言，要走的路还很长，很艰难。

小结

• 随着大数据工程和数据分析逐步的进入新的阶段，大数据测试将成为必然，也一定成为将来的一个热门的职业方向

• 大数据处理必须是批量的，实时的、可交互的

• 大数据应用测试的三大阶段：

1. 数据验证

2. Map Reduce 验证

3. 数据处理结果验证

• 架构测试也是很是重要的一个测试类型，糟糕的架构可能直接致使您的大数据项目的失败

• 性能测试三大节点：

1. 数据提取、存储效率

2. 数据处理效率

3. 子组件工做效率

• 大数据测试不一样于传统的测试，不只仅是类型、策略的不一样，工具等具体技术都会有区别

• 大数据因其复杂性，其测试所面临的挑战也会不一样于传统的测试

• 大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一本文转载：https://www.cnblogs.com/crstyl/articles/7277550.html