回顾|第十批大数据产品能力评测观察

Posted 2021-04-26 大数据技术标准推进委员会

为加快培育数据要素市场，进一步支撑国家大数据战略落地，推动“十四五”期间大数据产业交流与合作，2020大数据产业峰会·成果发布会于线上召开。本次大会由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会主办。

会上，中国信通院云大所大数据与区块链部副主任姜春宇发布了《第十批大数据产品能力评测观察》。

以下为演讲实录

大家好，下面由我来为大家解读第十批大数据产品能力评测结果。

这是信通院大数据产品能力评测的一个整体框架图，目前提供15种大数据产品与数据库产品的评测，覆盖了数据技术平台、数据资产、数据分析工具、应用解决方案、数据安全，主要从基础能力和性能考察产品的能力。这套体系已经发展了6年，成为国内最权威的大数据产品评测体系，为厂商产品研发和用户选型建立了风向标。下半年我们已经做好至少4款产品的标准，分别是联邦学习、可信执行环境、内存数据库、消息中间件。

这张图是大数据产品评测的全家福，截止第十批共有98家企业的207个产品通过了评测，完成了303个测试项目，这张图中的企业和产品代表中国大数据产品领域最先进的生产力。

接下来是一些数据洞察，第一个是测试增长趋势，可以看出从2015年，2016、2017、2018、2019年到2020年上半年，每一年的产品评测数据和测试数量都在稳步增长。第二是产品数量，207款产品，第九批和第十批占据了40%。从通过产品最多的企业维度来看，阿里云有18个产品通过，百度位列第二是16款，腾讯、星环、国双并列第三名，有10款产品，中兴、渊亭、华为并列第四名，有7款产品。而我们从评测的最受欢迎度来看，批处理平台毫无疑问是最受大家欢迎，也是大家开发最多、使用最广的一款产品，功能和性能加起来有80多次的评测。数据管理的平台现在位列流行榜的第二，有22个产品通过评测。从数据规模和集群规模来看，最大的测试数据规模达到100TB，是全球之最，这次产生了21000规模的最大测试集群，超过了去年的1万节点规模。另外我们还有一个热点，就是国内首款面向金融场景事务数据库性能测试工具实际落地测试。

第十批共有37家企业参与了评测，有67款产品通过了评测。其中有54款产品是首次通过评测，总体评测的数量和首次参加产品数量都创了一个历史新高，说明这两年大数据和数据库产业的发展良好，而且企业的研发投入和研发实力是不断进步的。本次新增事务数据库性能和图数据库基础能力两款测试项目。从参与企业来看，阿里参与了9个评测，百度参加了8个，360参加了6个，新华三参与了5个，腾讯参与了3个。从评测项目热度来看，多方安全计算是热点，有10款产品通过评测，分布式批处理平台排名第2，有9款产品通过评测。

我们进入真正的观察议题：

观察1：从大数据产品研发的维度来看，大部分大数据的产品和数据库的产品都依赖于开源技术。98%的批处理平台是基于开源来二次开发的，而分布式分析型数据库大概有71.4%是基于开源的组件来开发的，时序数据库开源使用率有60%，这也印证了开源推动了大数据产业与数据库产业的发展。

观察2：大规模测试成为了竞争的热点。这里体现往届大数据批处理的规模，评测规模是一直往上涨的，有浩鲸100节点、华为的5000、阿里云的1万，而到现在我们看到了有华为的21000节点的这样一个规模扩展起来了。360和华三也分别都有相应大规模的集群评测。我们看到大数据产品需要承载的数据量日益激增，所以对扩展性要求越来越严格，此外，大规模集群部署能力也是很多项目必备的能力。

观察3：数据管理平台的管理和服务特性增强了，而且有一定智能化的趋势。数据管理平台的评测标准包括80个测试用例，当前一共有22款产品通过我们的评测服务。可以观察到数据管理平台的管理和服务特征增强，其中具备标准制定、评审流程和数据质量稽核的功能越来越多。另外，我们发现主数据管理一般是跟数据管理平台分开的，而元数据管理是整个数据管理平台的核心，70%以上的产品都是通过元数据来建立数据模型、追踪数据操作。近期我们观察到一些产品逐步在引入智能化手段，在数据质量稽核、数据识别等方面有一定应用。

观察4：多方安全计算产品加速落地。去年第九批评测完成了5个产品评测，今年上半年第十批完成了10个产品，数量翻了一倍。从评测结果我们也发掘出一些特点，首先由于硬件能力和算法的提升，整体产品的性能现在达到了可用的水平，多方安全计算下的网络耗时和性能耗时能控制在普通环境下的百倍以内。从技术研发模式来看，有一小部分分布式产品是基于开源的开发的，大部分是纯自研的。从产品模式来看，有提供算力算法的纯计算提供者，也有提供一些数据参与计算的业务需求者的模式。从机制方面来看，大家都通过算法优化、第三方评估、严控计算环节流程等方式来增加信任。从应用情况来看，这类技术已经在营销、精准风控、广告计算等领域有落地案例。

观察5：图数据库成为研发热点。首先图数据库的自研率更高，只有少量是基于开源二次开发的。在分布式方面，Raft协议成为众多产品的选择。而事务隔离级别的支持程度各有不同，整体来说偏向支持数据的最终一致性。图数据库的查询语言短时间内难以统一，Cypher、SPARQL、Gremlin三足鼎立。图数据库的周边配套工具，比如可视化能力、运维能力、导入导出等能力还需要进一步完善。

观察6：国内首款事务数据库性能工具进入了实际测试。大家谈起事务数据库都知道TPC-C工具。去年信通院联合了两三家银行，模拟真实银行转帐业务场景开发了一款性能测试工具，与20多家数据库厂商进行了适配，上半年有5款产品正式参加了测试，分别是阿里云的AnalyticDB、PolarDB-X、中兴的GoldenDB，热璞的HOTDB和虚谷数据库。性能体现了不同产品的重视程度，调优能力、产品能力。这是数据库性能测试的结果，稍后我们的同事田稼丰会有更详细的测试结果的展示，这是5台和10台集群不同的中位值等等。我们下半年将提供数据库和硬件一体解决方案的性能测试，而且会将结果公布出来。

最后，未来发展方向。从注重大数据产品到关注大数据服务能力。另外，隐私计算在多方安全计算之外也增加可信执行环境和联邦学习两款产品，马上进入评测。下半年我们提供自研的金融和电信的分析场景性能测试工具，还会提供事务数据库一体化评测项目。

第十一批评测正在火热进行中，详情请见：

会

2020大数据产业峰会

关于我们

      入会咨询：张德民   15313961683

                        [e-mail]