PingCAP DevCon 2021 万字长文回顾:预见数据技术的未来生态
Posted TiDB_PingCAP
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PingCAP DevCon 2021 万字长文回顾:预见数据技术的未来生态相关的知识,希望对你有一定的参考价值。
PingCAP DevCon 是 PingCAP 一年一度的技术盛会,致力于探讨前沿科技与数字化趋势的融合,被誉为观测开源产业、数据库前瞻趋势的风向标。**7 月 24 日,以 “开放、连接、预见” 为主题的 PingCAP DevCon 2021 在京举行,为线上线下数万观众带来一场技术盛宴。PingCAP 创始人兼 CEO 刘奇,在大会上介绍了 PingCAP 在开源、企业级、国际化、未来发展方向的思考。**以下是演讲实录,字数 10366 ,需要 55 分钟阅读。
数据库正在经历一场划时代的体验式变革
2021 年,数据库正在经历一场划时代的体验式变革。如果以汽车行业做类比,这个变革就像是燃油车到电动车的跨越式变革。新一代汽车在大屏的可视化交互、强劲动力、自动驾驶、自我管理等众多创新功能方面,都带来了全新的体验。
**新一代的云数据库在资源扩展能力、自动伸缩、可管理、自服务方面也正在发生类似的体验变革。**今天大家在新一代汽车上面感受到的交互性、易用性、智能驾驶这些所有的能力,很多已经开始在新一代数据库中有所体现。
先通过两条曲线来回顾一下数据库的发展历史:第一条曲线从 1970 年开始,那一代数据库被称作经典数据库。经典数据库支撑了整个信息化时代,它们在企业的各种应用上扮演着至关重要的角色。从互联网时代开始,数据的高速增长,数字化进程的加速,硬件技术的革新,以及软件技术的创新,都极大地推动了数据库技术的变革。在第二条曲线的最近一个十年,结合开源和云的潮流,新一代云数据库正逐步走到舞台的中央。
其中,2020 年是这两条曲线的分水岭之年。从这一年开始,"开源,简化,融合"成为新的技术潮流。我们可以想象一下 ,2030 年的时候我们会开什么样的汽车?会使用什么样的数据库?两者在体验上以及演进方向上面其实是高度一致的,那就是更强大、更智能、更省心,也更有乐趣。
听起来前景一片美好,然而现实是残酷的。根据 Gartner 的观点,企业中有 85% 的大数据项目都失败了,为什么会有这么高的失败率呢?
主要有几个原因:
第一,伴随着业务的高速增长,数据库通常来不及扩容,无法跟随业务的脚步继续成长。PingCAP 的三位创始人,都是这些痛苦的亲历者。过去我们会为一个新的应用上线,准备一到两个月的时间,会为一个线上的促销活动熬许多个夜晚。当时还要做各种各样分库分表的应用改写,尽管如此,每一次上线依旧是提心吊胆;
第二,投资巨大的项目有许多没有办法及时转化数据的价值。其实,今天很多时候并不是缺乏数据,而是这个数据本身和数据的价值兑现存在一个巨大的鸿沟,比如无法满足时效性要求。
第三,通常大家选择的技术栈往往链路很长,从数据库通过 Binlog 或者 CDC 把一些变化的、更新的数据转到队列,然后从队列里面开始做 ETL,做完 ETL 又进入数据仓库,整个技术栈会拉的很长,从而数据价值的变现困难重重。今天的实时促销、实时风控等各方面的需求都要求达到秒级甚至是毫秒级的响应能力。
数字化在疫情肆虐的这段时间产生了一个很大的变化,大家对数字化的认知变得更深刻,数据的时效性成为刚需。**实时的交易处理、实时的反馈、实时的汇聚、实时的洞察成为全场景数字化的必备。**今天,秒级的数据分析和反馈都有可能带来数千万元的收入或是损失。
这些挑战也导致很多企业沉积了蜘蛛网一样复杂的技术栈,从而进一步导致了数据时效性变差,数据价值的变现变得更加困难。
相信开放的力量
互联网时代带来了数据量暴增、技术栈更加复杂,以及业务上不断涌现出来的各种各样发散的需求。未来十年,数据的增长只会更快,并且会呈现指数级的变化。如果我们停留于现状,不做技术上的变革,今天感觉到的痛苦,十年后会都会被指数级放大。
说到变革,很多人可能有一种感觉,PingCAP 是一家比较特别的公司,有一些不一样的调调。但不一定能说出这个调调到底是什么,其实 PingCAP 当时创业的想法很简单,就是希望做一个数据库可以让数据对业务的支持更简单、更方便,运维工程师也可以减轻压力,甚至可以让他们睡个好觉。睡个好觉,在今天就是这么奢侈。
当然,只有初心远远不够,数据库这么复杂的一个产品,不是靠几个工程师的奇思妙想可以完成的,需要靠用户在真实场景的打磨和开发者们持续地贡献。**在 PingCAP 创立的过程中,我们一直认为****TiDB不是 PingCAP 的产品,而是所有开发者、所有用户、所有 DBA 和所有运维工程师的共同"作品"。**这来自于我们对于开放的相信,对开源社区的信仰。
有些人步伐与众不同,是因为听到了远方的鼓声
梭罗在《瓦尔登湖》中有一句话:“有些人步伐与众不同,那是因为他们听到了远方的鼓声”。
六年前我们开发 TiDB 的时候,遇到过很多怀疑,很多不认可。从创业之初为了升级扩容而睡不着觉,到后面产品终于开发出来后,又会因为找不着用户睡不着觉。对于企业而言,数据库的更换有点像换心脏的支架,也像一个运行中的飞机更换发动机,几乎没有人愿意冒这样的风险。
当时,我们听到比较多的问题是:“TiDB?没听说过啊!”,“你们有哪些行业用户的案例吗?” 我们能够坚持下来,也是因为有第一批用户勇于尝鲜,积极尝试。当时的 TiDB 还是非常稚嫩的、没有经过太多考验的、缺少用户案例的 TiDB 。
今天,大家能看到 TiDB 的迭代速度如此之快,就是因为我们也听到了远方的鼓声,我们的步伐会变得更快,更坚定。这里的“我们”,是指坚持走开源道路的一群人,包括我们的用户和贡献者。
Believe in the Power of Openness
说到远方,我们就来说一个远方的真实故事。危地马拉一所大学有一个教授和他的学生,都是 Chaos Mesh®️ 社区非常活跃的用户。他们在 GitHub 上做了一个非常有意思的项目,通过构建一个分布式系统,来实时显示世界各地新冠疫苗接种的统计信息。Chaos Mesh® 在这个项目里面保证了这个分布式系统的稳定。
在看到这个项目之前,我们甚至都不知道危地马拉是中美洲的一个国家,同样也不知道 PingCAP 创建的混沌测试项目 Chaos Mesh® 能够以这种方式参与到全人类都关注的新冠疫情工作之中,也不知道这个项目还能够以另外一种方式去贡献它的社会价值。
这一切恰恰说明了一个开放的社区有多么大的延展能力,可以自发地延展到全世界各个完全没有想到的地方。这个例子让我们进一步看到了开放的力量,开源社区跨越了国界,跨越了民族,不断创新,并把成果再次贡献给整个社区,从而使得更大范围内的人能够受益,进一步形成了一个非常好的正向循环。
今天, PingCAP 的开源社区已经遍布全球各个角落,由 PingCAP 创立的开源项目在 GitHub 上已经获得了超过 41600 star,超过 1400 多位贡献者,来自全世界几十个国家。开源是 PingCAP 的起点,也是 PingCAP 的长期策略。
PingCAP 的发展过程,经历了从我们自己相信到业界认可的过程。在 CNCF 2019-2020 年贡献度排名中,PingCAP 位列中国企业第一,全球排名第六。
CNCF CTO Chris Aniszczyk 特意为 PingCAP DevCon 2021 录制了一段视频,表达了他对 PingCAP 的致敬:“感谢 PingCAP 成为 CNCF 的早期项目之一,并通过 TiKV 提供早期贡献。PingCAP 是 CNCF 所有项目中的第六大贡献者,以公司规模来看,这是相当疯狂的成绩。因为排在前面的公司,像谷歌、红帽、VMware、微软都是超级大公司。所以,我要向 PingCAP 致敬,衷心感谢 PingCAP 为 CNCF 做出的贡献和创意。”
今天, PingCAP 的开源项目已经不仅仅局限于 TiDB。近两年,我们的另两个开源项目TiKV****键值数据库和 Chaos Mesh® 云原生混沌测试平台先后进入 CNCF 基金会进行孵化:
TiKV 作为 TiDB 的存储引擎,同时也作为一个独立的分布式键值数据库,于 2020 年 9 月在 CNCF 正式毕业。作为一个毕业项目,TiKV 成功服务于像京东、美团、知乎等众多知名企业;
Chaos Mesh® 去年成功地进入 CNCF 沙箱项目,获得包括腾讯、微众银行、小鹏汽车、七牛云、字节跳动等用户的积极采用,成为云原生环境下故障演练的必备工具之一,也是 CNCF 在这个领域最流行的混沌测试平台。
正是由于 PingCAP 在开源社区的积极贡献,才使得 PingCAP 在全球开源社区中获得了巨大的影响力。
The Power of Connecting Talents
开源社区也好,开源项目也好,它们的本质到底是什么?说到开放的力量,它的根源又是什么?表面上看,开源开放的是代码,但本质上其实是关于人与人的连接、人与技术的连接,代码只是这种连接和协作的载体之一。
以前在软件公司,我们经常说,每天晚上公司最重要的资产都离开了这栋大楼,It is all about talents。而在开源软件公司,我们真正的力量是在看不见的网络上,在各种各样的应用场景里,在 GitHub 的每一个 PR 里,在社区的每一次交互里。所有力量的汇聚来自于智慧的汇聚,也来自于同样因为信仰而产生的连接和信任。
到今天为止,基于开源社区,我们已经形成了一个全球数据库的人才生态圈。在这个生态圈最里的一环是 PingCAP 数百人的研发团队,他们专注于 TiDB 的内核研发,也积极参与社区众多项目的联合开发。
在二环,是数以千计的的开发者,包括社区 1400 多位贡献者,也包括众多知名高校和科研机构,还有全球各个领域的顶级技术大咖。例如 TiDB 在早期时候 Rust 语言前核心成员的参与等,近期, TiDB 也进入全球顶级学府威斯康星大学和卡内基梅隆大学的课程里。
在三环,是我们的用户和合作伙伴,覆盖了整个数据的技术生态,影响了上万名 DBA 和运维工程师。这些用户和合作伙伴又把各自的场景重新带回到开源社区,与我们的研发和社区的贡献者一起,实现了基于真实场景的产品研发,并且形成了一个非常高速的迭代机制,这个机制也加速了企业用户的场景拓展与业务创新。
开放的技术生态
人才的连接,构成了快速迭代的技术生态,TiDB****横跨了 OLTP 和 OLAP,进一步形成了完整的 HTAP 能力。
在大数据领域,我们实现了与 Spark、Flink、 Presto 等大数据技术栈的广泛融合,在开源社区方面我们也有不少跨界项目的合作;在基础设施领域,我们也积极拥抱了云计算和云原生的技术生态,与全球领先的云计算厂商 AWS、Google Cloud 以及 VMware 等建立了广泛的合作伙伴关系;同时,我们也与国内众多厂商建立了不同层面的合作,包括京东云、青云、七牛云、移动云等;此外,我们还与 RedHat 、SUSE 等开源厂商保持着长期广泛的合作关系。
在技术生态的上层,我们与用户和合作伙伴一起围绕着真实场景,尤其是实时在线的联机交易、实时洞察、实时分析、实时决策,为各行各业的用户提供产品、解决方案、服务。立足于金融、新经济、电信、制造、物流、零售、公共事业等多个行业的真实场景,建立了稳定的合作与长期的联动。
平安科技的开源创新之路
平安科技是 PingCAP 生态里非常重要的一个企业客户,在本次大会中,平安科技数据库团队总工程师汪洋带来了 “平安科技的开源创新之路” 主题分享。
平安科技正式开始使用 PingCAP 是在 2018 年初。当时,集团产险需要做一个开门红促销的活动。数据库团队需要根据业务量、活动量的规模来进行 IT 资源的规划、评估,以决定是否需要扩容。
对于平安来说,开门红、财神节活动年年都有,但 2018 年遇到了非常大的挑战。这一年,平安产险的业务以及其他保险的业务都在飞速发展,2018 年的量远远比往年大得多。这给数据库团队带来几个挑战:第一点,平安当时用的还是集中式数据库。大家都知道集中式数据库的限制,需要技能很高的人员才能评估,而且对评估的准确度要求也会很高。在初步评估中,数据库团队认为没有一个单一的服务器能够承载得起当年的活动量,那如何保证财神节活动的顺利进行呢?
由于平时比较关注分布式数据库领域,当时自然而然想到了一款原生的分布式数据库—— TiDB 。PingCAP 技术团队与平安的 TiDB 项目人员 、子公司的开发、测试、运营人员组成了联合攻关小组,进行紧张地测试验证。当时留给攻关小组的时间非常有限,但 TiDB 凭借着快速部署、灵活的扩展性,在短短 20 多天的时间内,就搭建起了一个 20 个节点的生产集群,顺利保障了 2018 年 1 月 8 号产险财神节活动的顺利进行。
汪洋感叹:“这样的速度、效率、效果,以往是很难想象的。经此一役,我们对 PingCAP 产品增加了信心,也对 PingCAP 的研发、技术、支持团队的专业能力增加了很大的信心。于是我们开始在不同的子公司、不同的系统上去推广、使用 TiDB 。例如寿险的金管家活动、集团的客户信息管理活动。”
随着 TiDB 在平安的使用,平安数据库团队不愿意只做一个超级用户,他们想更能够发挥 TiDB 的力量,建立更多的连接,持有更开放的态度,推动整体分布式数据库技术的发展。于是,他们参与到 Ti-Operator 和 Chaos Mesh®️ 的项目中。其中甚至有人成为了 SIG-K8S 的 reviewer,提交合并了 45 个 PR,提出了 Operator 的灰度升级方案,进行了方案设计和代码实现。同时还优化了 Pod 的更新策略,还有 HostNetwork 网络方案的性能验证。平安在将成果应用于业务创新的同时也把成果贡献给全球开源社区,持续推进数据库技术的进步。
用户眼中的新一代企业级数据库
数据库作为一款基础软件,应该也是普惠的。PingCAP 的产品能力、PingCAP 的愿景不仅服务于互联网用户,从几年前服务北京银行开始,TiDB 就在企业级能力方面有了巨大提升,并且一直在持续、快速地改进。
PingCAP 负责中国区业务的高级副总裁 Davis 介绍,根据不完全统计,全球有超过 1500 家企业在把TiDB应用到生产和业务环境中,破解他们面临的业务挑战,赋能业务增长。
为什么这么多用户和客户会来选择 TiDB 呢?
这是因为TiDB****是一个从第一天起就真正面向数字化时代而设计的新一代企业级数据库。今天各行各业都在进行数字化转型,而数字原生的 TiDB 在数字化转型的两大主要方向上都有专长,第一是敏捷化的业务提升,第二是数据的实时洞察消费。
业务的敏捷性提升要求 IT 系统更快速响应业务的变化和数据的增长,数据实时消费要求赋能企业能够实时洞察分析、实时分析、实时决策、实时变现,这对于数据库的要求和传统的数据库架构设计相去甚远。而 TiDB 作为数据原生、云原生的分布式架构设计,以敏捷高可扩展性的 OLTP 支撑业务敏捷性提升,以创新的实时 HTAP 架构支撑数据的实时消费和洞察。
同时,TiDB 通过各行各业的实践,积累起丰富的基础架构解决方案和应用架构解决方案。从基础架构解决方案中的 “数据迁移、业务连续性、上云、安全” ,到应用架构架构解决方案中的 "实时的数据服务到实时风控、分布式批量、综合数据查询"等等,这些整体的解决方案在全面助力企业应用 TiDB 实现业务成功。特别是过去三年, PingCAP 在实时 HTAP 上的创新,提供一栈式数据解决方案,可以全面赋能数字化转型中企业实现数据实时洞察、数据分析、实时变现。
今天,TiDB 产品、解决方案、支持服务已经被广泛地应用于金融、新经济、物流、零售、电商等各行各业的企业客户中,帮助他们推动技术创新,为业务赋能:
- 北京银行通过 TiDB 在 5 小时内实现 5 亿条数据的在线扩容;
- 中国人寿财产险在使用 TiDB 后实现单证状态统计从 8 小时缩短到 6 分钟;
- TiDB 在中国银行各类场景中监控对象的数量超过 10000+,每日收集的数据条目达到了 14.5 亿条;
- 在光大银行,TiDB 支撑了每天达到 5000 万笔的交易。
4 月 25 日,PingCAP 发布了全新的 TiDB 5.0,相比 4.0 版本在功能上、性能上都很了巨大的提升。在发布三个月以来,已经有大量用户使用,并且提供了很多积极的反馈:
- 汽车之家上线 TiDB 5.0 后,聚合场景查询较 mysql 带来 20-50 倍的效能提升,从容应对千万级 DAU 和亿级访问量;
- 58 同城引入 TiFlash MPP 提高海量数据实时分析计算能力,在多表关联查询中,相比 TiDB 4.0 有 90% 的性能提升;
- TiDB 扛住了中通快递 35 万的 QPS,在启用 MPP 之后报表时效性从过去的 5 分钟缩短为到了 1 分钟。
在每天 24 小时的工作和生活场景中我们都可以找到 TiDB 的身影,在这一串串的数字背后,我们可以切实感受到 TiDB 在每个客户成功的旅程上扮演着不可或缺的角色。
业务敏捷,已经成为数字业务的生命线
业务敏捷化是最近比较热门的话题,它已经不再是一个选择,而是一个必需技能。业务敏捷化不仅可以更快地应对市场和客户的需求,而且能够提升运营效率,降低运营成本。随着数字化不断深入,业务的敏捷化必将是一个不可扭转的趋势。
在 TiDB 的众多客户中,有一个头部餐饮零售通过 TiDB 成功提升了业务敏捷性:
这家企业 2018 年就开始探索建立一个能够支持多业态、多渠道、超大并发的中台,以实现业务的敏捷化。由于餐饮业的特殊性,流量通常具有明显的高低峰特性,需要技术中台具有较强的动态扩容能力。这也就意味着在选择数据库的时候,是否支持云原生,是否支持敏捷弹性扩缩容成为非常重要的考量。
当然除此之外还有两个重要的考量,第一是稳定性,有没有成熟的高稳定性解决方案;第二是有没有完整的支持服务体系。
通过多方 PK ,TiDB 凭借着敏捷、高可用、高可靠的可扩展 OLTP,以及完善的支持技术服务体系脱颖而出,成功落地到用户、支付、消息等核心的中台业务上。在历经两年大促的考验、上亿用户的在线交易后,TiDB****的敏捷、高可扩展的扩缩容能力,以及高并发能力得到了充分的验证。
此外客户还发现,由于 TiDB 可以让应用场景聚焦于业务,无需考虑分片逻辑,不用考虑业务增长的不可预期性,所以该客户大大加速了新老业务的应用、迭代和上线,满足了不断变化的消费者需求。
该客户也看到了 TiDB 近几年在社区方面的活跃和发展,也就意味着人才生态的丰富,这也坚定了客户对 TiDB 的选择和对 TiDB 的持续使用。未来,他们也计划像平安科技一样,积极参与到 TiDB 的社区活动中,为开源社区贡献。
实时洞察,已经成为数字业务的必杀技
另一个例子是中通快递和 TiDB 数据实时消费和洞察的故事。
作为全球业务规模第一的快递企业,随着业务的快速发展和数据量的激增,中通原来存放在 Oracle Exadata 的数据周期越来越短, 而业务方对数据分析的需求不断上升,实时性的要求更是愈发强烈,单纯靠升级 Oracle 一体机的硬件已经完全无法从根本上解决问题,并且成本也越来越高。特别在业务高峰时,单机性能遇到瓶颈、单机故障风险也非常高。此外,最关键的是分析时效只能做到 T+1,完全不能满足业务的需求。中通的技术团队也对 HBase、Kudu 这样的解决方案做了调研,但是发现这些数仓和现有技术栈难以兼容,并不能很好地支撑业务端多维度的查询,最后决定选择 TiDB。
**TiDB****拥有一栈式 HTAP 数据库解决方案,既支持在线横向扩展,随时上下线存储和计算节点,又能够非常高效的支持数据分析的时效性,并且兼容现有的大数据、技术生态,降低了技术栈的复杂性。**最为重要的是 TiDB HTAP 解决方案是行存列存分开,可以完全隔离 OLTP 和 OLAP 资源,也就意味这既实现了数据的实时分析洞察,又不会影响 TiDB 的性能。此外,中通还可以通过 TiSpark 计算存在 TiDB 里面的数据,然后通过存到 Hive 支撑中通全链路的时效分析。
现在,中通可以实现准实时地了解每一票件在每一个环节是否出了问题,并作出实时的决策与计算。目前中通快递已经完成了 5.0 的升级测试,借助 HTAP 的模式,在大促监控场景中实现了 5 倍的提速,中通也正在规划将 TiDB HTAP 的实时分析能力用在未来的其他分析业务中。
企业级服务帮助用户全方位落地场景效果
以客户成功为中心是 PingCAP 的核心理念,除了产品、解决方案之外,客户还需要非常好的支持服务和运维保障,PingCAP 有着一套完整的支持服务体系,让客户可以安心、放心、顺利地应用 TiDB。
通过购买 PingCAP 企业级订阅服务,有效期内可以持续不断获得产品演进带来的创新及性能、功能的提升,同时享有不限次数的、有支持响应保障的远程产品支持服务和专业指导。高级订阅服务里还会内含包括多供应商技术问题协查,包括重要节点的特殊保障支持。
如果需要更加深入的服务,还可以通过购买 PingCAP 专家服务,让 PingCAP 专家在现场提供架构咨询、应用适配、上线扩容、深度巡检等等服务。
此外,PingCAP 还可根据客户需要提供专业培训与认证服务,帮助企业培养具备全面架构和开发能力的 TiDB 数据技术人才梯队。
Ti-Star 计划,通过“混合生态”助力用户旅程成功
在开放的理念下, 企业与 PingCAP 相互连接,产生了化学反应,为企业自身成长、业务的转型创新,注入了新的动力。
神州数码 CIO 沈旸作为亲历者表示,开源技术正在引领整个信息技术产业的发展,神州数码与 PingCAP 建立长期的生态联动,除了推出 TiDB 和神州数码分布式数据库一体机、落地端到端行业解决方案之外,神州数码的技术团队深度参与开源社区,开发了 TiDB for PostgreSQL ,实现了开源技术和服务方案的新突破。
TiDB 最大的一个特点是混合的生态。这个生态里面既有开源社区带来的独特价值,又有企业级产品服务带来的价值。从一个客户的完整生命周期来看,PingCAP 有很多客户,最早可能是从 GitHub 上面找到 TiDB ,或者去官网下载 TiDB ,或者自己编译了 TiDB 。他们在使用过程中逐步遇到一些技术咨询的问题,开始可能会在社区里面提问,随着越用越深,逐步扩大范围,希望和 PingCAP 团队建立更多的面对面连接,获得更多的技术支持和专业服务。
**Ti-Star 计划则会在上述的每一个环节,由 PingCAP 提供原厂深度支持和持续的互动。**平安科技就是一个非常好的例子。这个计划将帮助用户更好地使用 TiDB ,无论你是一个企业级用户,还是一个社区用户,只要满足一定条件,都可以申请加入到Ti-Star 计划之中。TiDB 的社区支持和企业服务会一起帮助用户完成整个用户旅程,通过双方一起共创,在实现客户成功的同时,也让 TiDB 变得更加贴近用户的业务需要,更接地气。
应用场景连接全球用户
国际化是 PingCAP 从第一天就开始坚持的长期理念,它与 PingCAP 的开源策略相伴而生,让我们更容易听到远方的声音。
过去一年中,PingCAP 在全球各个地方都增加了很多用户,包括美国、日本都有头部的客户。PingCAP 也在北美、日本、东南亚、欧洲大幅度增加了本地团队,以便更好地支持当地用户。
很多国际客户看中 TiDB,不仅是因为产品体验好,更是因为它经历同类型用户更极端场景的验证,这些极致场景覆盖了互联网金融、电商、支付、在线游戏、视频等等行业,然后无缝连接到海外的用户,帮助用户解决大规模数据处理、风控、实时决策以及数据中台等业务需求。
在经过中国互联网公司和企业用户在这些极端场景的验证之后,我们很快发现全球用户也有类似的场景,他们也有类似的需求,这些用户可以通过国际化的社区很快连接起来,了解、使用 TiDB 的产品。
自疫情以来全球物流行业发展都非常迅速,而支撑一个高效物流体系的背后需要的是对数据的实时洞察系统。中国的物流行业是全球领先的,在中通的案例中我们看到他们如何用 TiDB 来进行创新,实现实时洞察。而 Ninja Van 则是一个将中国领先的优势场景带到全球的典型案例。
总部位于新加坡的物流独角兽公司 Ninja Van 在去年年初的时候,决定找一个 MySQL 堆栈的替代性解决方案,由于 TiDB 与 MySQL 协议有着高度兼容性,他们接触到了 TiDB 4.0 ,在迁移过程中只对代码进行了了微小的更改就完成了整个迁移工作。
此外,TiDB 开箱即用的高可用性、云原生特性、支持在线 DDL,都帮助数据库团队减少了大量操作上的开销。Ninja Van Co-Founder & CTO Shaun Chong 表示:“希望 TiDB 坚持开源,我们评估了很多其他开源的 NewSQL 项目,不幸的是,他们的社区版本无法支持全套功能,但 TiDB 不是,在我看来,社区版本与企业版本一样重要,所以我们希望 TiDB 保持这种方式。因此,开源的主要好处在于,社区想要参与其中非常容易,在保证经济高效的同时还拥有庞大的用户群。”
连接云端——TiDB Cloud
全球用户对于 TiDB 价值都有着旺盛的需求,那么如何才能够高效地将这些价值交付给全球用户手中呢?PingCAP 的选择是通过云服务。
随着 IT 基础设施的演进,云服务已经是一个新常态。我们看到很多用户的主要技术栈都构建在云上,并且向云原生架构演进。因此,越来越多的用户询问我们能否提供一个 TiDB 托管服务,在享受分布式数据库带来的强大功能的同时免于复杂的运维工作,在云原生的世界里进一步省心。
所以,在 2020 年 6 月份,PingCAP 在海外区域推出了 TiDB Cloud——一个全托管的 TiDB 服务。并通过有限预览的方式,让一部分的需求强烈的用户先使用起来。
在过去的一年中,TiDB Cloud 持续演进功能,尤其是以云原生的方式在数据访问安全和弹性运维等方面做了增强,大大提升了用户的安全访问能力以及业务连续性。今年 5 月份,TiDB****Cloud 在海外区域,正式对全球用户开放。
与此同时,PingCAP 为 TiDB Cloud 建立了更加敏捷发展的迭代方式。一方面,云原生的新特性可以更快上线, 比如今年 6 月进一步增强了与 Amazon Aurora 导出的数据格式的兼容性,让数据迁移更容易;另一方面,TiDB Cloud 紧跟 TiDB 的内核功能,让用户既可以享受最新版数据库内核的功能,而且不用自己升级系统,摆脱了升级系统的繁琐操作。现在,用户已经可以在 TiDB Cloud 上使用最新的 TiDB 5.0 版本。
TiDB Cloud 的数据安全性
PingCAP 所做的这一切只有一个目的,就是让更多的用户更省心。用户将他们的关键业务和核心数据托管在 TiDB Cloud 中,还会担心另一个问题,如何确保这些数据的安全性、隐私性呢?
PingCAP 为此建立了一套科学有效且符合国际标准的信息安全管理体系。如组建分布在全球的专业的安全团队,一方面能够全面提升整体的安全技术架构,另一方面能够满足安全事件的需求,TiDB****Cloud 已经通过了 SOC 2 Type I/II 、ISO 27001:2013 两项全球权威的认证标准,未来 PingCAP 也在做更多的合规认证,通过这些能把整个安全体系进一步加强,确保产品的安全性和合规性,全面满足国内外客户的需求,提高信息安全风险的管控能力,让用户可以无忧地使用 TiDB Cloud。
全球多区域的数据同步第三季度即将上线
云计算让无数企业和创业者可以放眼全球,用科技改变不同地域人们的生活。将业务引入全球,在业务之下数据服务这个层面也需要一个能够在全球交付的方式,独立的第三方数据服务不仅能够匹配不同云厂商的数据需求,也能够成为云服务的未来核心组件之一。
TiDB****Cloud 第三季度即将上线全球多区域的数据同步服务,帮助用户更轻松地实现跨区域的数据聚合,加速大数据平台的建设、加速 HTAP 的落地。
TiDB Cloud 自发布以来,一直在快速迭代、不断创新。无论你是蓬勃向上的创业公司,还是在数字化转型中的大企业;无论你的公司刚刚试水出海,还是已经在多个全球多个区域提供了服务;无论你是多年的 MySQL DBA,还是云原生的架构师,都是 PingCAP 和 TiDB 未来蓝图里不可或缺的一部分, TiDB Cloud 期望能够将 TiDB 的价值更快更高效地交到全球每一位开发者手中,让用户在任意地方,任意规模,享受 OLTP 规模化和 Real-Time HTAP 的能力。
为了能够进一步实现这个目标,**今年第四季度,TiDBCloud 将对个人开发者免费!开发者可以免费使用TiDB****标准集群,体验和测试 TiDB 对云原生应用的无缝支持。**TiDB Cloud 还将提供一个免费的 TiFlash 分析引擎节点,让用户体验最新的 HTAP 功能,亲身感受 HTAP 为实时分析带来的时间节省和效率提升。
云计算通过服务化的方式在全球普及了计算能力,让全球用户的增长更快。在这个基础之上,软件在云上的服务化,是新的用户需求和产业趋势。这一趋势在后疫情时代更加明显。从视频会议到文档协作,从数据处理到人工智能,在云上软件服务化的路上,我们看到了很多同路人。
Databricks 就是其中一员,Databricks 是大数据和 AI 领域的领导者,在全球范围得到了广泛认可,业务发展非常快。Databricks 在一年的时间里从 150 万个虚拟机增加到 500 万个虚拟机,他们希望找一个跨云的能够扩弹性展的数据库方案,同时希望未来在数据的基础上面能够做快速地进行实时分析,对于 TiFlash 寄予了厚望,刚好 TiDB 满足所有一切对于未来的想象。在这个快速发展的过程中,PingCAP 有幸成为 Databricks 在云上携手共进的同路人。
预见——云原生的下一代体验
最近几年有一个很流行的说法,叫做用户体验的最后一公里。同样,在云原生环境下,用户使用数据库的体验还缺乏最后一公里。在云上,所有业务都变成了分布式的,在分布式系统里面有大量的微服务之间的调用。而在所有这些调用之间,我们可以很好地去观测不同的微服务之间的调用顺序和调用逻辑。
然而当我们创建一个订单,查询一个订单,把一个订单从生成到送到客户手中时,数据库里面发生了什么?我们无从得知。
有没有可能在业务视角也能清晰看到一个业务的操作最后是什么样子?
**TiDB****Open Tracing 就是专门针对数据库体验最后一公里的产品,它可以让用户实现真正的全场景下的可观测。**当在业务侧产生一个订单,或者查询一个订单时,能够清晰地看到整个查询操作在在数据库的微服务里,到底运行了哪些 SQL 语句,扫描了多少数据,在队列里面排队了多长时间,甚至是经历了多少次 IO。
如果说可观测就像一个望远镜,帮助我们将一切尽收眼底。然而现实总有意外发生,如何做到风险的提前预判和风险的提前把控也至关重要。
古人常说 “料敌于先”,如果我们不能做到"料故障于先",现在所有的一切美好都可能在一个故障下面瞬间崩盘,因此在开发 TiDB 的时候,PingCAP 也开发了一个混沌测试平台—— Chaos Mesh®。
通过开源社区的不断迭代,Chaos Mesh®****正式发布 2.0 版本。该版本提升了整体易用性,让更多人能够轻松地给系统注入各种各样的故障,进一步提升自动化能力,同时降低整体测试成本,提供了更多的故障注入类型。
目前,腾讯游戏借助 Chaos Mesh® 每周执行故障演练的次数超过了 150 次,并且有记录发现、解决的问题超过了 100 个,实现流程精简优化,效率提升 10 倍以上。
我们一直相信的信念
在过去的六年中,**PingCAP 一直坚持做着一件"简单"的事情–让数据库回归它本来的样子,把复杂交给TiDB,把简单留给用户,让数据库省心,好用。**真实场景是最好的架构师,相信开放,做时间的朋友,拥抱创新,交付简单,这些是我们一直相信的理念。
在过去的六年,TiDB 受到了无数关注和鼓励,在大家的帮助下我们从一个嗷嗷待哺的婴儿,一步步慢慢成长成一个充满活力的少年。在这 2100 多个日夜的背后是无数贡献者的精心呵护,正是你们的每一个 PR 、每一则回复、每一次鼓励铸造了 TiDB 的今天,特别感谢每一位开发者的贡献,相信随着开放和透明的协作必定会创造出全新的无限可能,让我们一起把 TiDB 打造成一栈式服务生态。我们一起在路上!
以上是关于PingCAP DevCon 2021 万字长文回顾:预见数据技术的未来生态的主要内容,如果未能解决你的问题,请参考以下文章
黄东旭:可插拔性 × 调度能力 × 云上几乎无限的资源 = ?丨PingCAP DevCon 2021
TiDB 在小米的落地及云原生探索丨PingCAP DevCon 2021 回顾
剑指Serverless, 入围Forrester Wave, 6.5 LTS 预览,TiDB 多元数据生态再升级 | PingCAP DevCon 2022
圆桌实录:技术无感化成为 2023 年最值得开发者和企业用户关注的技术趋势丨PingCAP DevCon 2022
黄东旭:开发者的“技术无感化”时代,从 Serverless HTAP 数据库开始 | PingCAP DevCon 2022