从数据库评估差异，看全球化长期主义之路

Posted 2022-02-01 PingCAP

本文转载自公众号：韩锋频道（hanfeng_channel）

近些年来，数据库行业发展迅猛，无论是海外和国内处于产业转型期。如何评估行业、厂商、产品发展，成为广大数据库从业者及企业用户所关注的要点。有一系列评估机构和组织会根据诸多信息加以分析，本人也在过去介绍过类似 Gartner、DB-Engines 等海外评估机构的情况。近日对比海外与国内的评估体系，发现两者间存在不小差异，从中可以看出中国数据库作为数据库行业的“新势力”，呈现出一些新的发展特征。本文将从 2021 年数据库行业发展入手，分析海外和国内数据库评估体系，并从两者差异谈谈国内企业发展与全球化之路。

1. 数据库全球市场 2021 年发展盘点

2021 年是全球数据库发展的黄金之年，也是全球数据库新势力的加速崛起之年。数据库领域正在发生与汽车产业类似的电动车新势力崛起的类似情况，这里我们从分析机构以及新势力企业获得投融资的情况来看一下这一分水岭之年的变化。从 2020 年开始，知名 IT 分析机构 Gartner 首次把数据库领域的魔力象限重新定义为 Cloud DBMS，把云数据库作为唯一的评价方向；在 2021 年的 Gartner 魔力象限发生了两个重要的变化，第一个变化是：Snowflake 和 Databricks ，两个云端的数据仓库企业进入领导者象限，第二个变化是，Gartner 去除了魔力象限的收入门槛，使得受用户欢迎的数据库新势力 SingleStore、Couchbase、Exasol、MariaDB、Cockroach Labs 等首次上榜。本文第二部分会对 Gartner 等分析机构的评价方法做详细解读。

在数据仓库领域，作为云端数仓代表的 Snowflake 持续保持 100% 以上的业务增长，而推出“湖仓一体”的 DataBricks 获得 360 亿美金的估值，两家创始人还不断隔空喊话，Data Cloud VS 湖仓一体，BI 和 AI 通吃，One-Stop Shop 成为大家竞争的重点方向。在规模略小的实时分析开源平台，Clickhouse、Imply、Kyligence 都获得千万到 2.5 亿美元的融资，说明开源独角兽已经成为数据库新势力的重要力量。NoSQL 方面，Mongo DB 借助云服务的高歌猛进市值达到 300 多亿美金，其对手 Couchbase IPO 也达到市值 10 亿美金，Redis Lab 1.1 亿 G 轮，三者共同的特点是通过快速和简化的产品体验快速吸引 Developer。NewSQL 方面，CockroachDB 的 Cockroach Labs 273M F 轮，估值 50 亿美金，成为第一个登 Gartner 魔力象限的 NewSQL 公司，这也是因为其云服务进展迅速；Yugabyte 1880 万 C 轮，中国的 PingCAP 也进行了新一轮的融资，其核心产品 TiDB、TiDB Cloud 也都已经进入 AWS Marketplace 。NewSQL 两大阵营：mysql 阵营的 TiDB 架构的高度分层 highly layered, 使用 Google Percolator 管理事务，让其在实时 HTAP 场景尽显优势；而另一边 PostgresSQL 阵营的 CockroachDB/YugabyteDB，更擅长处理 geo-distributed 多数据中心的 OLTP 场景。在多模方面，图数据库，时序数据库等方向的独角兽如 Graph DB、Neo4j、ArangoDB 都获得新一轮较大规模的融资。这里论述从略。

2021 年，也是开源数据库流行度首次超过商业数据库的一年，截至 2021 底，全球 383 款数据库中开源数据库占据 51.7%，高于 8 年前的 35.5%；排名前十的数据库中，开源数据库占据六席。关于开源趋势，可以参考开源中国前一段发布的 2021 中国开源十大热点报告，这里不再赘述。

综上，无论从分析机构，还是资本市场角度看，公有云背景下的“云原生，跨云，SaaS 化，实时分析，自动化” ，以及数据技术的整体开源趋势，都是全球数据库新势力崛起的主要驱动力。我们注意到，这些全球趋势，也在部分的中国数据库厂商有所体现，但从总体来看，全球数据库的研究与评测机构还未能关注数据库领域的中国力量，而中国数据库产业界也对全球趋势跟踪不足，绝大多数数据库厂商的发展重心也与海外厂商有很大区别，海外研究与评价机构和中国评价机构对于中国数据库厂商缺少较为全局的评价， 这也导致了对中国数据库厂商的评价存在割裂的现象，下文就会对主要研究与评价机构的机制做详细的说明。

2. 从数据库评估方式看发展差异

正如前面所讲，近些年来国内外数据库行业发展迅猛，有越来越多企业、资本、人才投入其中。那么在火热的发展浪潮中，如何对行业、企业、产品、技术有个理性的评估，就至关重要。这不仅有利于数据库厂商预判行业趋势、企业发展定位、产品演进路径、技术发力方向，也有利于广大数据库从业者做出符合自己的发展之路。在这方面，国内外有很多机构、组织有着自己的评估方式，而且国内外的评估差异也非常明显。下面就谈谈对国内外对数据库评估差异的个人理解。

1).海外评估

在海外对数据库的评估，已经有较为成熟的实践。有很多公司、组织或科研机构参与到数据库的评估之中。这里可大致分为三类：一是以 Gartner、Forrester、IDC 为代表的 IT 研究与评估机构，它们会定期发布数据库领域的研究报告；二是以 DB-Engines 为代表的第三方组织，会持续更新排名全球数据库发展现状。三是以卡内基梅隆大学为代表的科研机构，会收录全球数据库信息供学术分析；上述三类公司或组织，其评估角度各有不同，但其合集基本覆盖了从数据库技术、产品、生态、商业等多个侧面。下面详细展开说明下：

>>>

 IT研究与评估机构代表：Gartner

Gartner，是全球最具权威的 IT 研究与顾问咨询公司，成立于 1979 年，总部设在美国康涅狄克州斯坦福，其研究范围覆盖全部 IT 产业。其在 2006 年提出魔力象限模型，用以描述特定领域全球最权威和最具影响力的厂商综合能力评估报告，是头部厂商产品能力的对标。一般情况下，企业 IT 决策者可通过这一分析报告甄别厂商能力，为采购、招标等提供一定的依据佐证。其评选标准包括全球市场份额、产品能力、客户反馈等。

Gartner 魔力象限的评估标准，也是在与时俱进、不断调整。早前 Gartner 主要是根据产品营收选取前 20 个厂商进入年度的云数据库市场的魔力象限，2021 年的评估标准中移除了这一限制，而是采用一种 Market Momentum Index（市场动向指数）来评估，旨在让受到用户欢迎的中小数据库企业有机会入选。于是我们在 2021 年的魔力象限中看到，诸如 SingleStore、Couchbase、Exasol、MariaDB、Cockroach Labs 等数据库新势力首次上榜。

2021 年中国数据库厂商阿里云（Alibaba Cloud）再次进入领导者象限，华为云（HUAWEI CLOUD）进入特定领域者象限（NICHE PLAYERS），是国内入选的仅有两家企业。2020 年还在魔力象限的腾讯云数据库此次缺席，席位被北美的新势力独角兽占据。可见中国数据库厂商由于多数局限在中国市场还未能获得 Gartner 的足够重视，根据非正式渠道得知 Gartner，Forrester，IDC 等三大分析机构已经注意到中国数据库市场的快速发展，将在未来 3-5 年单独强化对中国数据库市场和数据库厂商的评估，包括中国新锐数据库厂商在全球市场的表现。在全球市场的表现，始终是数据库厂商证明自己技术领先性的关键战场。

下面我们来看 Gartner 具体在市场动向指数上，统计主要来自哪些方向：

Gartner 的订阅客户对某厂商的咨询量以及趋势是最为重要的参考依据，数量越高证明用户对某产品的兴趣或采纳率越高；

在美国、欧洲及中国开放的招聘职位的数量；

Gartner Peer Insight 平台上统计客户在数据库产品选型提到的次数也会作为重要依据；

除了上述在市场动向指数方面进入 Top 20 之外，还有几个必须满足的条件：至少满足 Gartner 定义的 7 个 Use Case 中的 3 个（Traditional transactions，Traditional data warehouse，Logical data warehouse，Augmented transaction processing，Event stream processing，Data science exploration/deep learning，Operational intelligence ）

Have a cloud DBMS service generally available，因为 Gartner 在 2020 年首次将不同的数据库魔力象限整合为统一的云数据库，厂商提供 Cloud Service GA 是必选项；

全球多区域业务拓展，定义了在全球最少 3 个区域有业务且不低于整体营收的 5% (Region 的划分：北美，中南美，欧洲，中东及非洲，亚太，日本)

>>>

 第三方机构代表：DB-Engine 数据流行度评估

DB-Engine Overall Ranking （2022 年 1 月）

前十位的数据库，有六个是开源的。

DB-Engines 由于主要统计海外市场的信息，可以看到，在前 100 名关系型数据库厂商里面，仅有 TiDB 和阿里云的两个产品入围。这从侧面也反映了纯海外市场中国数据库综合影响力和中国市场有很大差异。DB-Engines 是由三方机构维护的，收录全球数据库信息，并按照活跃度给予排名。其排名的数据主要来自下面五种因素：

Google 及 Bing 搜索引擎的关键字搜索数量；

Google Trends 的搜索数量；

Indeed 网站中的职位搜索量；

LinkedIn 中提到关键字的个人资料数；

Stackoverflow 上相关的问题和关注者数。

参考: https://db-engines.com/en/ranking

>>>

 科研机构代表：dbdb.io（卡内基梅隆大学）

dbdb.io，是卡内基梅隆大学维护的全球数据库信息库，其中收录了全球 700 多种数据库产品，其包含数据库的开发者、国家、起始年份、项目类型、开发语言、衍生来源、兼容性、适配系统、开源协议等多种信息。除上述信息外，还包括最近更新、浏览、修改等方面的统计，可以间接反映出数据库产品的活跃程度。

上述三类评估者，可以说覆盖从技术、产品、生态、商业多角度，可以全方位地了解。但上述这些平台，大家经常访问会有个发现，中国数据库厂商及产品非常少。以 Gartner 为例，在 2021 年的报告中，仅收录了阿里、华为两家中国厂商。其背后原因还是Gartner更加注重商业部分，而国内企业出海不多，而对国内市场的情况海外研究机构又了解有限。而从 DB-Engines 来看，前 100 名仅仅有 PingCAP，阿里两家中国公司，DB- Engine 更多信息也是来自海外的搜索、社交媒体，招聘、论坛类信息，缺少对中国境内的搜索，社交媒体，论坛等信息，三个机构都只能以中国数据库厂商的海外影响力为主，也提示中国数据库厂商应该放眼海外，避免内卷。

2).国内评估

从国内情况来看，长期以来一直缺乏对数据库的评估体系。之前也曾有过信创目录等政策引导性评估，但其更多是作为政府采购决策参考，公众参与度、认知度不高。不过值得欣喜的是，国内已经有三方机构主动担负其这一职能，希望从更多角度对国内产品做了全面的评估。这一机构就是墨天轮，其维护的墨天轮数据库排行榜，以月为周期多角度评估国内数据库并加以排名。就在不久前，其还发布墨天轮魔力象限，仿照 Gartner 做法来做象限分析。可以说墨天轮社区填补国内这一领域空白，为其点赞。

从 2021 年的最终排名看，PingCAP 作为开源分布式领导者连续 24 个月领先，但其领先优势开始受到华为 openGauss 数据库的挑战，老牌国产数据库达梦稳居第三，新晋开源的 OceanBase 也进入前五。当把这个前十位的名单与前面海外三类机构的名单比较时，会发现墨天轮的排行主要还是以中国数据库厂商在本土市场的表现为主。从评估维度来看，墨天轮社区在不断改进，其评估指标已较为全面。其排名因素包括如下：

搜索引擎：引入百度、必应、谷歌以及微信公众号文章（搜狗）当月搜索条目数，每个搜索引擎权重不同，如百度、公众号文章较高，最后按整体占比计算得分。

趋势指数：引入百度指数、360 趋势数据，通过搜索数据库关键字得到当月指数或趋势，计算得到每个数据库的平均指数，最后按整体占比计算得分。

三方评测：引入了包括信通院大数据产品能力评测、电信行业能力评测、TPC 组织评测等，旨在体现数据库产品在特定场景下的基准达标，以及性能和稳定性。

生态：引入生态体系指标，包含社区平台、高校合作、培训认证、开放文档、代码开源、介质下载共六个维度，以体现厂商对数据库产品的可持续发展战略，开放开源、人才培养和共建行业的理念。

专利数：专利是自主可控的重要体现，这一指标指厂商在国家或国际平台上可以公开查询的专利数，以体现数据库产品的创新能力。

论文数：论文指厂商在国际数据库顶会、国际论坛、国际期刊发表的论文，以体现厂商在前沿技术、学术领域的成就。

招聘岗位数：引入 51JOB 相关招聘数据，根据数据库关键字搜索出每个数据库的岗位数量，体现企业对该数据库人才的需求热度，最后按整体占比计算得分。

书籍：引入当当网相关书籍数据，根据数据库关键字搜索出每个数据库的书籍数量，最后按整体占比计算得分。

DB-Engines 上榜指数：指数据库产品在 DB-Engines 上榜，按排名先后依次降档得分。

Gartner 市场份额排行及魔力象限：根据 Gartner 发布的最新市场份额排名先后依次降档得分，最新的魔力象限统一得分。

IDC 市场份额排行：根据 IDC 发布的最新市场份额排名先后依次降档得分。

3. 数据库评估体系的全球化之路

从上述分析来看，海外与国内的数据库评估体系存在明显的割裂现象。海外评估体系，虽然较为全面，但对中国数据库厂商及产品涉及很少，了解很浅。究其原因，其一是由于海外对中国市场的重视程度不足，对中国的很多情况也不甚了解；二是由于大多数中国数据库厂商以中国市场为主，与海外评估机构在商业、技术生态上均存在较大距离；三则是语言、文化等因素，也在一定程度上妨碍了双方的了解。从国内的评估体系来看，起步较晚，发展势头不错，但同样存在类似问题。目前国内的评估体系中，均不包含海外产品，（甚至开源也不包含），其次针对国内产品受限于调查者身份，也很难深入到商业部分，甚至直达客户侧，同时也缺少对中国数据库厂商全球影响力的关注和解读。在技术趋势上，国内机构关注 OLTP，OLAP 等传统领域评估更多，而对云数据库、开源、数仓，AI 与自动化等数据库创新趋势相对较少。

近些年来，国内数据库产业发展迅速，无论从技术、产品到资本层面，越来越多的厂商产品受到海外的关注。一些国际权威的评估机构已考虑为中国数据库独立评测，这也侧面验证了海外对中国数据库厂商的重视。国内数据库行业已逐渐从跟随者、参与者，向局部引领者角色转变。如何参与到全球化进程中，如何共享全球技术生态，如何发挥全球影响力，如何在全球商业布局等，未来都会成为中国数据库厂商需要面对的问题。从全球及国内来看，数据库行业各种势力正在加速洗牌。相较于海外四五十年的数据库发展来说，国内的数据库厂商还稍显稚嫩。但中国数据库厂商正赶上数据库产业变革的重大机遇期，借助开源和云计算，中国数据库有机会在全球市场占据一席之地。数据库评估体系同样需要与时俱进，海外评估机构会更多关注到国内的同时，国内评估机构也可以全球化技术视野和创新模式来看待数据库未来的发展。通过更多元的、更为创新的评估体系把握产业发展脉络，把握时代机遇，促进行业健康发展，最终也让中国的广大数据库企业用户受益。

透过全球首个知识增强千亿大模型，看到中国AI差异化发展之路

几年来，预训练大模型逐渐从一个AI领域内的技术语言，变成了强势出圈的产业热点与社会关注话题。但如果大家关注这一话题，会很容易注意到越来越多的声音开始反思大模型的发展之路。比如，大模型是不是应该一味追求庞大的训练参数？在发展路径上我们是不是只能严格对标GPT-3等国际著名大模型产品？

当中国科技企业与研究机构纷纷投入大模型竞争时，是不是有可能探索出一条属于自己的道路？

在科技自立的需求愈发严峻与明确时，透过大模型竞赛，我们可以看到更多关于AI的产业启示与战略思考。

12月8日，鹏城实验室与百度联合召开发布会，正式发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心。这一大模型参数规模达到2600亿，并且在全球60多项NLP任务中取得了最佳效果。同时，百度产业级知识增强大模型“文心”家族也首次亮相。

早在2019年，百度就开始布局文心预训练模型，如今它也率先走向了差异化拐点。当大众对知识增强这一概念的熟稔远不如大模型本身时，百度文心选择了这条听上去陌生，但却至关重要的产业新径。

大模型为什么重要？为什么我们应该在大模型上探索出新的方向？透过百度文心大模型，我们看到的是科技自立的远方，看到的是中国AI的飞翔之地。

大模型不是军备竞赛，

而是教育竞赛

首先来看大模型本身的行业意义与发展背景。

如今，似乎每家AI企业和研究机构都在做大模型。这种火热局面经常被称为“大模型的军备竞赛”。但如果我们要理解的是，大模型本身是一种产业基础设施和辅助工具，并不是企业与机构的“不传之秘”。

AI产业发展大模型，就像是国家发展教育事业，本身是为了培养更多人才和创新能力，增强整个社会的能动性。

通过海量数据的预训练集成，大模型可以有效降低个体企业与具体行业的AI应用门槛，解决数据标注与行业差异化适配的问题。大模型就像一间间学校，培养了具有通识能力与高素质的人才，从而避免了企业需要从小学知识开始重新培养人才。

这也就将引出一个关键问题：既然大模型是一种“教育系统”，那么教育就应该贴合社会的实际需求。学校肯定不是以用掉了多少书本来评价质量，就像大模型不能仅以训练参数定优劣，更重要的是教育方法是不是与社会适配，能否培育出具有强大能力的人才。

从这个维度上思考，中国AI产业要一直跟随GPT-3等大模型的脚步，一味在训练参数上标榜自身吗？

中国的产业底座、应用需求、技术领导力，是否有可能培育出自己的差异化大模型之路？

此次百度发布的鹏城-百度·文心，以及亮相的百度文心大模型，或许就是答案的方向。

跳出藩篱：

知识增强大模型的差异化之路

2019年3月，在全球大模型的刚刚开始起步的时候，百度就发布了ERNIE 1.0版本，提出了知识增强的语义表示模型。2019年7月，ERNIE 2.0 则构建了持续学习语义理解框架，在中英文 16 个任务上取得了业界最佳效果。

面向NLP领域AI的探索，文心大模型跳出了以往大模型的窠臼，采用了知识增强这一全新技术路径。知识增强将百度在知识图谱、跨模态学习等领域的技术能力，与模型训练学习方面的产业积累结合，实现了更高效率的学习，令模型的理解与生成能力显著增强。

这也很像人类学习的过程，具体信息的学习固然重要，同时知识与逻辑的学习也必不可少。知识既构成了人的通识能力基础，也可以显著提升具体能力的学习与应用。在大模型领域，知识与深度学习的结合起到了事半功倍的效果。

与此同时，文心大模型还强化了跨语言、跨模态的学习能力。在技术的不断迭代之下，文心大模型的泛化能力更强，可以适应更具体真实的任务应用，尤其是处理小样本学习任务的能力。

（鹏城-百度·文心模型结构图）

这条差异化之路，让鹏城－百度·文心千亿大模型可以实现更高效率的学习，并在同等参数空间下实现效果更优，并且符合真实场景的应用需求。而能够实现知识增强这条新路的开拓，得益于百度在知识、深度学习、以及模型开发训练并行且长期的布局积累，也得益于鹏城云脑Ⅱ提供的强大算力。

中国AI的积累、实力与需求，共同构成了差异化之路的起点。从这个意义上来看，知识增强大模型的价值并不仅仅在大模型本身。

走向通用：

百度文心的应用拓展空间

BERT、GPT-3等大模型确实取得了惊人的效果，但大模型也经常因为应用上的滞后性引发质疑。其原因主要来自两方面：一是大模型的算力需求过大，成本高昂；二是大模型的泛化能力欠佳，经常难以解决应用场景中复杂多变的实际问题。

面对这些问题，鹏城-百度·文心实现了更强的应用能力。在场景化应用方案中，鹏城-百度·文心可以实现多尺寸的模型蒸馏，甚至以极小尺寸适配具体需求，降低大模型使用门槛与成本。

在通用能力上，通过与知识的结合加上跨语言、跨模态能力的融入，文心大模型可以适配更加多样化、通用化的任务，在通信、金融、医疗等领域具备广泛的应用前景与想象空间。

鹏城－百度·文心在60多项国际著名任务上取得了领先优势，其中有30多项是小样本、零样本学习的任务，表明了鹏城－百度·文心的泛化应用能力更强，可以低门槛适配行业需求与行业能力。

（鹏城-百度·文心小样本学习效果）

（鹏城-百度·文心零样本学习效果）

在金融领域，文心大模型赋能可以结合百度全流程AI开发平台BML提供的模型再训练能力，基于定制的保险合同条款“智能解析模型”，完成一份合同内近40个类目条款的智能分类，让业务员处理单份合同文本的时长缩短到1分钟，速度提升几十倍。在智能客服领域，文心大模型可以有效提升服务的精准性。这一能力目前已经在浦发银行、中国联通等国内众多企业中得到应用。

整体而言，文心大模型在相对复杂、有考验性的应用场景具备更加强大的表现。比如媒体创作、医疗文本分析、金融信息研判、合同分析等等，这些应用空间非常广阔，并且能够适配的AI技术净值很高，具有明确的商业化动力。

AI正在走向工业大生产，其中核心就是让实验室中的强大AI能力，走入产业，拥抱真实需求。而这就需要大模型具备更强的通用化能力，鹏城－百度·文心正是踏出了这样的关键一步。

文心之路，自立之路：

中国AI的飞翔之地

从技术差异和应用场景出发，我们其实可以从鹏城－百度·文心和百度文心大模型里看到更远。如今，科技自立成为了时代潮流与企业责任，而到底什么是真正的科技自立呢？从鹏城－百度·文心中，我们或许能找到一些新的经验与标准。

在全球瞩目的大模型领域中，知识增强大模型成功打破了固有边界，跳出了“质变没有就拼量变”的传统逻辑。科技自立不是你有什么我也要照猫画虎，你有千亿参数我有万亿参数，而是结合自己的特点与需求，走出能够引领潮流，有独特发展空间的差异化之路。

此次百度的大模型最新发布亮相，可以看到中国AI厚积薄发，学中能变的时代脚步。

在前沿探索上，百度文心大模型在知识增强这个关键点上打破了大模型的产业壁垒，探索全新的技术可能与应用特性，并且将跨语言、跨模态等前沿技术融入其中，构筑更具领导力的技术创新，让中国AI不再仅仅成为模仿者。

在产业协作，百度与鹏城云脑Ⅱ的合作，可以说是集合了中国AI的“最强实力组合”。“鹏城云脑Ⅱ”是自主研发的E级AI算力平台，曾在多个国际性能测试比赛中夺冠。鹏城－百度·文心将基础设施与前沿产业探索进行了有效适配。这种产学一体，软硬件协作，有效利用鹏城云脑Ⅱ作为创新底座的方式可以说是中国AI所独有，在未来很长一段时间将是中国AI产业的特殊优势。

在战略协同中，鹏城－百度·文心可以有效融入百度云智一体的战略架构，大模型通过飞桨的技术创新特性带来高效的训练结果，同时大模型也天然与百度智能云结合，构成了开发者和企业选择百度的动力。云智一体，指向泛化应用与产业需求的AI发展策略，也是中国AI的独特一面。

从源头技术创新，到大模型的知识增强之路；从飞桨核心技术的有效利用，到与鹏城云脑的软硬件合作，鹏城-百度·文心千亿大模型的每一步都根基于自主，每一个选择都趋向于自立。这种既能破壁求变，也能务实协同的发展方法，就是中国AI的飞翔之地。

最近有个话题频频登上热搜，叫做“中国有伟大的知识宝库”。在知识增强的创新之路中，鹏城－百度·文心指向的，就是中国AI这样一个伟大的知识宝库。