大数据测试技术研究

Posted ratels

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据测试技术研究相关的知识,希望对你有一定的参考价值。

大数据的特征:

数据体量巨大(volume)
数据类型繁多(variety)
价值密度低(value)
处理速度快(velocity)

大数据测试的挑战:

平台软件的复杂性和发布节奏之间的矛盾
通用平台支持多种不同应用带来测试用例数的爆炸
对于大规模集群上的问题如何用小规模测试集群暴露

处理流程的5个阶段:

大数据采集
大数据导入/预处理
大数据统计分析
大数据挖掘
大数据分析

大数据测试——功能性测试方法:

数据导入/预处理验证阶段
MapReduce数据输出验证阶段
验证大数据ETL(数据提取、转换和加载)到数据仓库
验证分析报告

大数据测试——非功能性测试方法:

性能测试
容错性测试
可用性测试
扩展性测试
稳定性测试
部署方式测试
数据一致性测试
压力测试

大数据测试——针对“4V”特性的测试

大体量特性测试
多类型特性测试
高速度特性测试
低价值密度特性测试

大数据测试基准

TestDFSIO:用于测试HDFS的IO性能,使用一个MapReduce作业来并发地执行读写操作,每个map任务用于读或写每个文件,map的输出用于收集与处理文件相关的统计信息,reduce用于累积统计信息,并产生统计总结;
 
MRBench:会多次重复执行一个小作业,用于检查在机群上小作业的运行是否可重复以及运行是否高效;
 
NNBench:用于测试NameNode的负载,它会生成很多与HDFS相关的请求,给NameNode施加较大的压力。这个测试能在HDFS上模拟创建、读取、重命名和删除文件等操作;
 
HiBench:Intel开发的一个Hadoop benchmark suit,包含9个典型的Hadoop负载,benchmark程序负载的特点如下表所示;
技术图片

Sleep:命令行程序是批处理延时用的,占用资源少。Sleep基准可以用来比较核调度和MapReduce处理的有效性,在Hadoop World 2011上被提出来,可以测试分配任务到网络平台的速度;

TeraSort :测试Hadoop的一个有效的排序测试。通过Hadoop自带的TeraSort 排序程序,测试不同的map任务和reduce任务数量对Hadoop性能的影响。实验数据由程序中的TeraGen程序生成,数据量为1GB和10GB。一个完整的TeraSort 测试需要按以下三步执行:用TeraGen 生成随机数据;对输入数据运行TeraSort; 用TeraValidate 验证排好序的输出数据;

大数据测试常用工具

LTP( Linux test project)

Locktests

IOzone

Postmark

Fio

Filebench

 

以上是关于大数据测试技术研究的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术训练舱:Redis的分布式实践(上)从零开始编译安装配置Redis6,规范化搭建Java工程测试

时空大数据 AI 研究院在京成立,助推时空产业高质量发展

大数据测试类型&大数据测试步骤

大数据测试

大数据测试

汇创新上海积极布局SKA国际大科学工程建设,核心数据管理软件首次完成集成测试