大数据测试技术研究

大数据的特征：

数据体量巨大(volume)

数据类型繁多(variety)

价值密度低(value)

处理速度快(velocity)

大数据测试的挑战：

平台软件的复杂性和发布节奏之间的矛盾

通用平台支持多种不一样应用带来测试用例数的爆炸

对于大规模集群上的问题如何用小规模测试集群暴露

处理流程的5个阶段：

大数据采集

大数据导入/预处理

大数据统计分析

大数据挖掘

大数据分析

大数据测试——功能性测试方法：

数据导入/预处理验证阶段

MapReduce数据输出验证阶段

验证大数据ETL(数据提取、转换和加载)到数据仓库

验证分析报告

大数据测试——非功能性测试方法：

性能测试

容错性测试

可用性测试

扩展性测试

稳定性测试

部署方式测试

数据一致性测试

压力测试

大数据测试——针对“4V”特性的测试：

大致量特性测试

多类型特性测试

高速度特性测试

低价值密度特性测试

大数据测试基准：

TestDFSIO：用于测试HDFS的IO性能，使用一个MapReduce做业来并发地执行读写操做，每一个map任务用于读或写每一个文件，map的输出用于收集与处理文件相关的统计信息，reduce用于累积统计信息，并产生统计总结；

 

MRBench：会屡次重复执行一个小做业，用于检查在机群上小做业的运行是否可重复以及运行是否高效；

 

NNBench：用于测试NameNode的负载，它会生成不少与HDFS相关的请求，给NameNode施加较大的压力。这个测试能在HDFS上模拟建立、读取、重命名和删除文件等操做；

 

HiBench：Intel开发的一个Hadoop benchmark suit，包含9个典型的Hadoop负载，benchmark程序负载的特色以下表所示；

Sleep：命令行程序是批处理延时用的，占用资源少。Sleep基准能够用来比较核调度和MapReduce处理的有效性，在Hadoop World 2011上被提出来，能够测试分配任务到网络平台的速度；

TeraSort ：测试Hadoop的一个有效的排序测试。经过Hadoop自带的TeraSort 排序程序，测试不一样的map任务和reduce任务数量对Hadoop性能的影响。实验数据由程序中的TeraGen程序生成，数据量为1GB和10GB。一个完整的TeraSort 测试须要按如下三步执行：用TeraGen 生成随机数据；对输入数据运行TeraSort； 用TeraValidate 验证排好序的输出数据；

大数据测试经常使用工具：

LTP( Linux test project)

Locktests

IOzone

Postmark

Fio

Filebench

Hibench：https://github.com/Intel-bigdata/HiBench

BigDataBench：http://prof.ict.ac.cn/

YCSB：https://github.com/brianfrankcooper/YCSB

Gridmix：http://hadoop.apache.org/docs/current/hadoop-gridmix/GridMix.html

 Spark-Bench：https://codait.github.io/spark-bench/

 

 参考：http://www.javashuo.com/article/p-mhlwucum-ha.html