基准测试的仲裁方指控英伟达在大数据性能测试中作弊：“调整”工作负载以便在TPCx-BB中击败对手！

Posted 2021-04-28 云头条

这个GPU巨头表示很快会积极配合。

 

英伟达被指控在一项大数据性能基准测试中作弊，以不公正的手段位居榜首。指控它的正是这项测试的仲裁方。

英伟达在去年的GPU技术大会上声称，在事务处理性能委员会（TPC）设计的TPCx-BB基准测试中，DGX A100系统集群比性能最出色的系统还要快19.5倍。

本周，TPC谴责了这家芯片公司，指控它不仅违反了这项测试的使用条款，还规避了基准测试的约束条件，人为地提高测试分数。

TPC的管理员Michael Majdalany表示，英伟达在测试中“调整了工作负载”，使其DGX A100系统的功能看起来比实际上更强大。

他称：“TPCx-BB基准测试中有一些约束条件，英伟达却有意避开了，目的就是为了声称‘英伟达比运行标准大数据分析基准测试（名为TPCx-BB）的最高记录快近20倍。”

“实际上，英伟达并没有运行同样的基准测试，因此所有声称的相应成绩都是无效的。”

TPCx-BB基准测试衡量的是基于Hadoop的大数据系统的性能，图形处理器（比如英伟达生产的图形处理器）可以起到加速的作用。这项基准测试是指，针对结构化数据运行SQL查询，并针对非结构化数据使用机器学习算法，以模拟零售巨头们通常执行的分析工作，无论它们是线上、线下还是线上线下结合的零售巨头。这项测试包括要遵循的一项规范和要运行的一套工具。

英伟达去年6月份在其官网上的一篇博文中声称：“使用16个英伟达DGX A100系统支持的RAPIDS开源数据科学软件库套件，英伟达在短短14.5分钟内运行完成了基准测试，而在CPU系统上目前最快的记录也需要4.7个小时。DGX A100系统总共有128个英伟达A100 GPU，并使用了英伟达迈络思网络技术。”

然而，对于英伟达只是将这个未经认证的最高性能数字列为是官方的TPCx-BB分数的做法，性能委员会并不为所动，因为这违反了基准测试的合理使用规则。该政策规定，只有测试结果经过了审查，作为官方分数发表在TPS官网上，供人们与其他供应商的结果进行比较，参与测试的组织才能将TCP这个名称与基准测试分数一起使用。必须将非官方分数明确标为“非TPC”结果。

该委员会周四说：“英伟达在其2020年GPU技术大会（GTC）上出示的论文《RAPIDS现状：连接GPU数据科学生态系统》中以及在相关的公司博客和营销材料中都声称，它的性能比运行标准大数据分析基准测试（名为TPCx-BB）的最高记录快近20倍。”

“由于英伟达尚未发表官方的TPC结果，而是将来自衍生工作负载的结果与官方的TPC结果进行了比较，因此这番比较是无效的。”

TPC指导委员会主席Mike Brey补充道：“TPC积极鼓励所有组织（包括新闻媒体、市场研究人员、金融分析师和非营利组织）发表TPC结果。不过，为了确保将客观而全面地表述的TCP数据提供给TPC结果的用户和读者，TPC要求所有用户在发表或公布结果时遵循TPC政策中概述的合理使用规则。”

该委员会的发言人告诉我们，该组织一直在努力让英伟达撤回其说法或发布纠正声明。那篇营销博文依然挂在英伟达官网上，毫无变化。

这个GPU巨头私底下表示，它有兴趣正式参与这项基准测试并发布测试结果，甚至表示可能加入TPC作为成员。 该委员会得到其成员的支持，成员包括AMD、英特尔和微软。

但是，TPC和英伟达之间的讨论毫无结果。由于英伟达不是成员，因此委员会实际上似乎没有另外太多的办法来制裁这个硅谷巨头。由于别无选择，TPC只好决定公之于众。