星环科技最新发布一站式Hadoop发行版 TDH4.0

Posted 2021-04-13 星环科技

星环科技是目前国内极少数掌握 Hadoop 和 Spark 核心技术的公司，其研发团队是国内最早的Hadoop 发行版团队。其产品 Transwarp Data Hub ( TDH ) 的架构及性能比肩硅谷同行。

在大数据时代，Hadoop 已成为公认的替代企业级传统数据库的技术。

2014年12月12日，星环信息科技（上海）有限公司（以下简称星环科技）将在2014中国大数据技术大会（Big DataTechnology Conference 2014，BDTC 2014）上正式发布其最新一代的企业级一站式大数据综合平台TranswarpData Hub (TDH) 4.0。星环科技一直致力于帮助企业更加快速、高效地处理海量数据。在国内建立众多大数据上线案例的星环科技早已表现不俗。而现在，TDH4.0满载星环科技的最新技术，将给用户带来目前为止业内最好的一站式大数据解决方案。4.0版本中，TDH下的三大组件：Transwarp Inceptor交互式分析引擎、Transwarp Hyperbase实时数据库和Transwarp Stream流计算引擎都在功能和性能上有了质的飞跃。新版本的TDH更快、更稳定、更安全、性价比更高。在提供更好的大数据解决方案的道路上，星环科技从没停止过自己的步伐。下面，让我们看看TDH4.0中三大组件的具体技术提升。

Transwarp Inceptor 4.0

更完善的内存计算架构

Inceptor 4.0包含了新版本的数据平台Holodesk。除了提供更好的数据分析能力以外，Holodesk还支持动态的数据插入和分析，增加了数据索引支持，并内置了多种编码和压缩算法，因此在提供更高性能的计算能力的同时可以更有效的使用内存，满足ODS市场的应用需求。另外，Holodesk支持基于内存或者SSD的列式存储，并为SSD和内存的混合存储模型做了大量的优化，使得基于SSD的Holodesk性能得到大幅提升，因此为客户提供性价比更高的计算平台。此外，Holodesk与Transwarp Stream深入整合，支持将Stream的数据实时插入Inceptor并做实时分析业务。

更完整的SQL支持

Inceptor 4.0提供了Hadoop业界最全面的SQL支持，兼容SQL'99和SQL2003标准，并且更好的支持PL/SQL语言。

SQL标准部分，新版本的Inceptor增加了集合运算INTERSECT/EXCEPT, 提供了包括非等值JOIN在内的全部JOIN原语，支持多维度统计GROUPING/GROUPING_ID等函数，添加了WITH AS和VIEW等物理化的功能，优化了各种子查询、临时查询的执行效率，因而在SQL的兼容性和性能上都有明显的提升。目前TPC-DS基准测试集能够完整的在Inceptor上运行，并且无论是测试案例数还是性能都完胜美国主流的Hadoop厂商。

PL/SQL部分，Inceptor在以下方面增加了支持：

数据类型：支持标量、集合、RECORD数据类型，并支持隐式与显式的类型转换

过程控制：支持IF/ELSE,GOTO,LOOP,FOR,FORALL,WHILE/CONTINUE/EXIT等控制语句

过程调用：支持SQL语句，函数，存储过程，匿名块，以及与存储过程嵌套调用

游标处理：支持显式的游标操作如OPEN/FECTCH等，支持SELECT INTO语句与SQL的交互

异常处理：支持用户自定义异常和系统预定义异常，支持异常在存储过程内部和之间的传播

此外，Inceptor4.0还支持部分的系统函数，并且在提供编译期错误检测等功能。因此可以兼容绝大部分客户的应用场景，是Hadoop业界首个提供完善支持PL/SQL语法的产品。

更全面的安全控制

Inceptor 4.0提供了入门级和增强型两种安全认证方式，从而满足不同应用场景下用户对的安全方面的要求。入门级安全通过在Hive Server上使用LDAP技术来实现安全控制，而增强型方式则对包括Spark，Hive，Zookeeper，HDFS等所有组件上配置了Kerberos技术来确保系统的安全性。

更稳定可靠的Spark引擎

Inceptor 4.0将Spark引擎升级到1.1版本，并且在新版本上优化了内存换出机制，因此可以在超大数据量上稳定运行复杂的SQL，并且性能远超Map/Reduce。

更全面的数据挖掘算法

Inceptor 4.0支持多种深度学习算法，整合了开源的H2O项目，比Spark社区更早地支持深度学习计算平台。 此外，Inceptor 4.0还增加了GLM等算法的支持。与MLlib相比，Inceptor 4.0有下表所列的更多的算法实现。

Algorithm	TDH	MLlib
Histogram	YES	NO
Bining	YES	NO
Percentile	YES	NO
Median	YES	NO
Boxplot	YES	NO
Screen	YES	NO
Cardnality	YES	NO
Generic Linear Model	YES	NO
Apriori	YES	NO
Association rules	YES	NO
Gradient Boosted Trees	YES	NO
Random Forest	YES	NO
Deep Learning	YES	NO

Transwarp HyperBase 4.0

HyperBase 4.0 支持基于SQL的分布式事务操作(Commit、Rollback、Begin Transaction、End Transaction)，并且重点优化了高并发情况下的事务操作，因此可以满足大部分的OLTP应用场景。另外HyperBase 4.0推出创新的CBI (Cost Based Indexing)技术，无需用户指定要使用的索引，HyperBase在运行时会计算使用各个索引的成本来选择更有效的索引，因此可以提高查询效率，延时可降到百毫秒级，并降低了数据库上索引技术的开发门槛。

此外，Hyperbase对多个组件做了升级，HBase组件升级到0.98.6版本，全文索引技术使用ElasticSearch 1.3.1版本，并且新版本对系统结构和算法做了深入的优化。目前SQL统计的性能比上一版本提高2倍。

另外HyperBase4.0加强了数据一致性方面的功能，系统智能的根据数据的增删改记录来同步更新各级索引，从而保证了数据的强一致性，确保系统的高可靠性。

HyperBase 4.0版本也加强了与生态链的结合，目前支持ODBC 3.5和JDBC 4.0标准，因此可以和大部分应用无缝对接。此外，通过对ETL工具Data Service的对接，HyperBase 4.0可以支持与SAP HANA等数据库的实时数据同步，满足更多场景的应用需求。

Transwarp Stream 4.0

Stream 4.0在系统安全和监控方面做了重大升级，增加了对Kafka消息队列以及Spark OnYarn的Kerberos安全认证来确保计算时的数据安全，从而满足企业用户对于实时计算的安全和多租户要求。

Stream 4.0 推出了创新的基于SQL的实时统计分析功能，不熟悉Java/ScalaAPI的用户如DBA也可以通过SQL来完成实时计算，使得实时分析应用的开发门槛进一步降低。

新版本的Stream与Inceptor进行了深入整合，可以将实时计算结果写入Holodesk，极大的降低了写入延时并提高写入数据的吞吐量，保证即使在计算高峰期间系统数据不会被丢失。

此外，Stream 4.0增加了更多系统监控方面的改进，用户能够在界面上检测各个数据流的负载情况，以及各个任务的Stage分别等计算细节，从而给开发者更好的交互体验。

Transwarp Hadoop

在TDH 4.0中，Hadoop的版本升级到2.5.2，HDFS的性能得到了明显提升，并且增强了Yarn的高可用性，进一步提高了系统的稳定性并降低用户的运维成本。

TDH 4.0集成进了ETL工具Pentaho，用户可以通过Kettle将数据导入TDH。

此外为了给DBA提供更好的体验，TDH 4.0整合了开发者工具SQuirrel，因此习惯于使用图形界面的DBA无需改变自己的使用习惯。

在数据挖掘方面，TDH4.0整合了Windows版的R Studio，以方便更多的数据科学家使用。

http://transwarp.cn/news/detail?id=35

星环科技：国内落地案例最多的一站式 Hadoop 发行版。

回复 简介 查看《星环信息科技（上海）有限公司--简介》

回复 产品 查看《星环TDH3.4新概述》

回复 评测 查看《Hadoop发行版厂商星环发布TPC-DS评测结果》

回复 投资 查看《本土首家Hadoop厂商星环科技得到资本热捧》

回复 快递 查看《星环Hadoop发行版助快递业迎战“双十一”》

回复 税务 查看《税务大数据应用案例》

回复 公安 查看《公安大数据应用案例》

回复 工商 查看《工商大数据应用案例》

回复 电商 查看《电商大数据应用案例》

回复 医疗 查看《医疗行业应用场景》

回复 金融 查看《金融行业的应用场景》

回复 交通 查看《Hadoop大数据在交通行业的应用场景》

回复 运营商 查看《运营商优化案例》

回复 视频监控 查看《Hadoop大数据在实时视频监控的应用场景》

联系我们

星环信息科技（上海）有限公司

咨询：86-21-54265007

官网：www.transwarp.io

邮箱：[e-mail]

星环科技微信：transwarp-sh