TDH4.2实现分布式事务处理新突破,国产大数据平台大幅领先

Posted 2021-04-25 星环科技

近日，星环科技的Transwarp Data Hub大数据平台再次更新。最新发布的TDH 4.2，基于过去的产品作了全面的改进，其性能在业内已处于国际领先地位。尤其是对SQL的支持上，它实现了99%的SQL 2003支持，唯一支持PL/SQL的引擎（98%），唯一支持ACID分布式事务的SQL引擎；第一个支持SSD的基于Hadoop的高效计算引擎；支持多种主流报表工具和ETL工具，定位数据仓库和数据集市市场，可用于补充或替代Oracle、DB2等分析用数据库。支持索引、全文检索，支持图数据库和图算法，支持非结构化数据存储等。同时，支持最多的分布式统计算法和机器学习算法，同时整合超过5000个R语言算法包，适合金融业风险控制、反欺诈、文本分析、精准营销等应用。TDH的产品架构图如下:

Transwarp Discover

TDH 4.2 推出了全新的数据挖掘产品Discover，整合了R语言运行环境、RStudio图形化开发环境，包括了55种新开发的分布式机器学习算法以及R语言原生的数千个算法包，为用户提供了全面的数据分析和挖掘工具。Discover可以和Inceptor无缝连接，采用R语言原生的Data Frame接口和函数进行SQL操作。此外Discover支持基于LDAP和Kerberos的安全认证机制以及访问控制，保证了数据的安全性。

Transwarp Inceptor 4.2

Inceptor 4.2在分布式事务处理上取得新突破，可以满足数据仓库和数据集市市场上的数据一致性和高可用性要求。Inceptor 4.2支持串行化和可串行化的快照隔离两种数据隔离方式，支持容错机制保证系统高可用性。

Inceptor 4.2增强了数据增删改方面的功能，增加了对分区表的事务支持，加强了复杂的CRUD与Merge Into的语法支持，并优化了事务表的统计性能。

在PL/SQL的支持上，Inceptor 4.2完善了更多功能来帮助开发人员提高开发效率，包括支持函数重载，任务的显示与关闭，精确的报错信息等，并解决了高并发情况下的一些问题。

在可用性方面，Inceptor 4.2增加了对Parquet文件的支持，并解决了Metastore的高可用性问题。此外，Inceptor 4.2支持通过SQL设定多租户的硬盘、内存和CPU等资源的配额，支持LDAP & Kerberos 集成认证等，确保数据的安全和平台的可管理性。

Transwarp Stream 4.2

Transwarp Stream在系统高可用性上做了更多的增强。Stream 4.2 新开发了Lazy Receiver进行流控，防止一直读数据导致任务崩溃后，出现大批数据丢失的情况；也支持流任务在发生失败后自动重启。此外，Stream 4.2正式增加了WAL (Write-ahead Log)功能，保证系统的高可用性。

TDH 4.2 提供了更多的组件和服务，包括可视化的交互工具HUE，数据装载工具Sqoop2，任务调度工具 Oozie 4.2，以及Hyperbase数据加载工具SQL Bulkload等。此外，全部组件都支持Kerberos & LDAP安全控制，保证所有组件的任务和数据安全。

为了更生态圈更好的对接，Inceptor 4.2发布了Linux 版本ODBC，并且所有版本的JDBC/ODBC都支持基于Kerberos或LDAP的安全控制。此外，TDH 4.2加强了跟业界的整合，已经原生支持ETL工具DataStage 11.3等工具。

星环科技是目前国内极少数掌握大数据核心技术的高科技公司，专注于企业级大数据核心平台数据库软件的研发与服务。公司产品Transwarp Data Hub (TDH)以其业界最完整的SQL on Hadoop支持; 独特的对分布式ACID数据一致性支持；以及对SSD优化提高集群性价比等特点，比肩硅谷同行。产品的功能和性能在业界处于领先水平。在全球去IOE的大背景下，TDH已成为在数据仓库，数据集市等领域替代传统数据库公认的大数据产品。

回复 银行 查看《星环助力恒丰银行打造基于Hadoop大数据的数据仓库平台》

回复 电力 查看《撬动百万千瓦——星环大数据助力佛山电力需求侧管理》

回复 智能工厂 查看《大数据技术助力中国石化智能工厂》

回复 广电 查看《再下一城：Hadoop企业级应用新添重磅案例》

回复 产品 查看《星环 TDH 4.1 新概述》

回复 评测 查看《大数据产品最新测试基准看哪家（TPC-H or TPC-DS）？》

回复 投资 查看《时隔5个月，国内Hadoop厂商星环科技又获启明追投》

回复 简介 查看《星环信息科技（上海）有限公司--简介》

回复 交通 查看《Hadoop大数据技术助力山东交警实现智慧交通》

回复 快递 查看《星环Hadoop发行版助快递业迎战“双十一”》

回复 税务 查看《税务大数据应用案例》

回复 电商 查看《电商大数据应用案例》

回复 医疗 查看《医疗行业应用场景》

回复 金融 查看《金融行业的应用场景》

回复 运营商 查看《运营商的新方向-运用Hadoop技术将大数据资产变现》

回复 TED视频 查看《TED精彩视频：【大数据 大趋势】》

回复 视频监控 查看《Hadoop大数据在实时视频监控的应用场景》