腾讯云新一代企业级HTAP数据库TBase核心概念

Posted 2021-04-28 ITPUB

点击蓝色字关注 "ITPUB" 一起玩耍哦~

2017年，腾讯云PostgreSQL-XZ（PGXZ）正式改名为TBase，目前已经应用于政务、医疗、公安、消防、电信、金融等行业的十几家客户中。TBase以其功能强大，运行稳定以及强大的互联网基因得到客户的普遍认可。

2016年，基于腾讯云内外的需求变化，TBase的HTAP方案开始预研，目前已应用在包括微信支付、微众银行等多个客户中。2018年4月，TBase的HTAP方案完成开发。

TBase核心概念

TBase的重要的技术特性和概念，主要包括以下几个方面：

TBase产品架构

           

集群中有三种节点类型：

• Coordinator：协调节点，对外提供接口，负责数据的分发和查询规划；在功能上CN上只存储系统的全局元数据，并不存储实际的业务数据。

• Datanode：处理存储本节点相关的元数据，每个节点还存储数据的一个分片。在功能上，DN节点负责完成执行协调节点分发的执行请求。 

• GTM:全局事务管理器(Global transaction manager.)，负责管理集群事务信息，同时管理集群的全局对象，例如序列，除此之外GTM上不提供其他的功能。

从TBase的架构可以看出如下优点：

• 写可扩展 (Write-scalable )：通过部署多个CN，增加业务接入。

• 多主节点 (Multi-master )：系统的每个CN节点都可以发起写入操作，并都可以提供统一完整一致的数据库视图；

• 数据自动同步（Synchronous)：对于业务来说，在一个CN节点的写入操作会立刻呈现在其他的CN节点上；

• 数据透明（Transparent）：业务在通过CN查询数据库时，还是可以像使用普通的数据库一样编写SQL语句，不必关心数据位于具体的节点。

关键能力

HTAP能力

Hybrid Transactional/Analytical Processing，即事务和分析混合处理技术，需要一个可以同时高效处理OLTP和OLAP业务，而且兼顾易用性和低成本的HTAP分布式解决方案，并且考虑混合负载的资源隔离。如下是TBase的HTAP解决方案，架构如下：

  

TBase把HTAP分为两种场景：

• CASE 1，TBase的group隔离技术，在天然支持物理隔离，发挥高效的OLAP和海量OLTP能力。

• CASE 2，TBase同样支持在一份数据上同时进行OLTP和OLAP两种类型的操作，并且也达成资源的隔离的效果。

TBase的HTAP性能指标

通过标准事务测试模型TPCC的benchmark测试结果（测试中只使用了常规通用的X86服务器）系统在每分钟完成的事务量超过310万，并且系统的事务吞吐量会随着集群规模准线性提升：

    

下面这张图展示了TBase在行存储模式下和业界MPP数据仓库标杆在OLAP测试集TPCH 1T benchmark下的对比情况：

 

通过HTAP技术，业务可以在单一的TBase集群中同时处理OLTP类交易和OLAP类分析。大幅度的减少业务系统的复杂度，降低运维成本。

高数据安全

在和客户交流的过程中，多个行业的客户都提到了数据安全的诉求，TBase团队结合客户的需求和业界先进的数据库安全解决方案设计了TBase的数据安全体系，定义为MLS（Multi-Level Security）。这个体系主要包含以下几个方面：

• 三权分立：把数据库系统DBA的角色分解为三个相互独立的角色，安全管理员，审计管理员，数据管理员，这个三个角色之间相互制约，消除出系统中的上帝权限，从系统角色设计上了解决了数据安全问题。

• 强制安全规则：结合业界先进的数据库安全解决方案，TBase提出了强制安全规则解决方案，通过安全管理员制定的强制安全规则，针对不同的用户做到权限的行列混合控制，有效的杜绝数据越权查看，保证关键数据的安全性。

• 透明数据脱敏管理：对于金融，公安行业等对数据安全有特殊要求，会有数据脱敏的诉求，TBase针对行业痛点，做到对业务的透明脱敏。

• 审计能力：审计是数据库关键能力，TBase在设计的过程中，结合业界设计了自身的审计系统，做到在兼顾高精准的审计粒度的同时还能保证系统的性能，同时具备审计结果的实时通知能力。

多租户能力

TBase提供集群级和集群用户级两个级别的多租户能力。通过集群级的多租户能力，可以帮助业务快速的建立一个数据库私有云，帮助客户快速提供基于TBase的DCDB（分布式数据库）服务。集群级的多租户能力架构如下图：

    

除此之外，TBase数据库集群内部还提供基于节点组node group的集群内多租户解决方案，做到数据库集群内部的业务和资源隔离，多个业务在TBase内部相互隔离的运行。入下图所示。

结语

当然，TBase还具有很多其它特性，在此不一一赘述。正是在这些能力的支撑下，TBase对于海量数据的OLAP分析类操作更是如鱼得水。TBase马上要和大家见面了，腾讯云团队的小伙伴们非常欢迎大家的交流和使用。

数领先机 智赢未来

DTCC2018

中国数据库技术大会（简称 DTCC）是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会，每年一届。自 2010 年以来，迄今已成功举办了八届，累计参与人次达到 20000+。DTCC 每年都将邀请百余位行业专家，就热点技术话题进行分享，为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

2018 年 5 月 10-12 日，第九届中国数据库技术大会（DTCC2018）将如约而至。本届大会以 “数领先机 • 智赢未来” 为主题，设定 2 大主会场及 20 个技术专场，邀请来自国内外互联网、金融、教育等行业百余位技术专家，共同探讨 Oracle、MySQL、NoSQL、大数据、机器学习、区块链、数据可视化等领域的前瞻性热点话题与技术。

点击左下阅读原文，获取更多大会信息