混合开发框架孙元浩：Hadoop将取代MPP混合架构会消失
Posted 王小鱼课源
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了混合开发框架孙元浩：Hadoop将取代MPP混合架构会消失相关的知识，希望对你有一定的参考价值。
《混合开发入门 Vue结合android/ios，开发仿东京项目App》网盘分享
本程课融合Vue、Android等流行前的端和移动端技术，混合发开经典电商APP——京东。课程将杂复功能与知点识完美融合，带你真感实受到明星级品产开发的全过程。除之此外，还有一用流户体验和优交秀互设计你等一探究竟，拓宽发开眼界。混合开发框架
如果遇到二维码失效——加V:wuq977 体验课程
混合开发框架
【it168 评论选择大数据基础架构时，您经常听到数据大小可以在TB级别选择MPP架构的关系数据库。如果数据比例升至PB级别，则需要选择Hadoop。但实际上，MPP架构关系数据库的理论基础非常相似。这在对节点的独立操作之后包含操作。差异仅适用于前一个执行SQL。后者是MapReduce计划。做什么样的事情实际运行。用户使用习惯。与SQL的关系更广泛地用于实际语言作为数据库。这将用户的快速访问步骤限制为用户的Hadoop大数据时代。
使用web2。0，web3。0，移动互联网上升，互联网等。人们已经创建了更多数据，可以收集更多数据。对业务的需求正在推广大型数据技术，包括Hadoop开发。许多公司正在加速SQL发展。纯技术是其中之一。2005年第6届中国数据库技术会议（DTCC）描述了Sterling Technology CTO Sun Yuanhao。Hadoop的SQL性能持续改进包括安全。Hadoop在未来两年或三年内取代MPP。混合架构逐渐消失。
作为国内数据库最大的技术剧情和大数据领域，2015年第六届中国数据库技术委员会（DTCC）近年来，北京最大的沙斯特州成立。4月16日，第一次上午的会议，明星戒指科技CTO孙元豪带来了“两个主要方向和最新发展成绩”的主题讲述了大数据脱节。
大数据基础技术的主要方向是什么？这两个为什么为什么？Sterling Technology是否在这两个方面具有这些研究和发展的突破？Hadoop可以取代MPP混合体系结构的原因消失了吗？定位基本软件公司六角形圈科技协会吗？Sterling产品策略是什么？旧的鱼在会议结束后采访了Sterling Technology CTO Sun Yuanhao。联系并回答这些问题混合开发框架
老鱼：太阳，你好！我一直听说你是一个传奇人。我今天终于看到了真正的人。请让我说我们的网友你好。我们简要介绍了自己和你公司的产品。
圣元浩：每个人，你好，我是孙艳浩，实际上我的经历仍然相对容易。我在英特尔工作了10年，在大学硕士毕业后添加了英特尔（曾任亚洲太平洋研发有限公司，Ltd。CTO）。2013年，我留下了英特尔的企业家精神两年。换句话说，核心平台数据库软件的研究和开发和服务用于Sterling Technology和大数据期。大多数研究和开发团队来自一家知名外国公司。85％的员工是研发工程师。耐心为医生的主人。
我们的产品Transwarp数据集线器（TDH）基于Hadoop和Spark分布式内存分析引擎和实时在线大型计算分析平台。与开源Hadoop版本相比，您可以处理从10倍到100倍性能改进GB的PB级别。斯特林技术还提供了大数据的存储，分析和挖掘调查的高性能数据平台和服务。
老鱼：你提到Hadoop技术通过10年的发展。到目前为止，广阔的区域中没有两个普遍的因素。不满足SQL技术约束和弹性计算。这两个因素限制了Hadoop的普及。解决这两个问题将是大数据技术发展的两个主要方向。Hadoop有许多问题。为什么你认为这两个问题将是大数据技术的方向？你能给我们具体的分析吗？
圣元浩：这实际上是过去几年。我观察了来自市场的现象。Hadoop广泛用于广域。障碍来自两个方面：
1。Hadoop在SQL限制企业迁移和开发新申请的技术进步。
2，Hadoop加速Docker，大数据平台和湖泊数据湖多租户资源控制和弹性计算要求。这些不满足现有的纱线或虚拟化技术。
在第一方面，我谈到了过去的大数据。完成了几个数据挖掘工作，但更多的应用程序处于结构化数据，语言的主要使用是SQL。我们发现60％的Hadoop应用程序用于SQL统计信息。
使用Hadoop进入公司时，它是验证新应用程序。旧应用实际上出现在大数据中。您必须使用Hadoop来加快急需需求。但是，问题是客户想要去Hadoop，形成效率降低成本，但你不能移动！一个重要因素是大量客户的SQL非常复杂。这种情况位于商业和银行。银行贷款风控制SQL非常复杂。要完成迁移，它将需要太多时间来转换。有些语法不会改变，因此SQL支持比性能更重要。如果您没有这些语法支持，则如果要将现有应用程序迁移到Hadoop，则无法运行。
SQL作为数据库字段中的实际语言。比较API（MapReduce API等），Spark API等。要用先天性效益建立大型解决方案：首先，工业链是完美的，可以堆叠各种报告工具，ETL工具等。其次，具有SQL的低技术阈值低。第三，可以降低原始系统的迁移成本。因此，SQL语言已成为大数据分析的主流技术标准。您需要解决此问题以使SQL用户能够快速输入Hadoop Big数据时代。
在第二方面，从实际用户的请求。要求三分之一的客户在虚拟机上运行Hadoop。但是，每次拒绝时，Hadoop都放在虚拟机上，因此性能瓶颈非常严重。稳定性非常差，主要原因是传统的虚拟机将物理机转换为多个虚拟机。CPU负载非常低。运行大数据应用的虚拟机，CPU使用率频繁达到99％，并且很少有人使用虚拟机CPU至99％。目前，管理程序无法帮助它。稳定性是一个主要问题，这也可以防止使用Hadoop用户的第二个主要问题。
因此，这两个方向想要帮助客户解决。如果您解决这两个问题，市场将非常大，Hadoop将能够播放使用的水平。
老鱼：太阳，这两个问题可以在这里介绍，最新的技术研发成果
圣元浩：事实上，我们最新的技术研发结果由客户强制。我们的研究和开发结果来自用户的需求。有些客户问我们，我在这里210，000行的SQL，你可以运行吗？那也是30，000行SQL。你说Hadoop不是牛吗？我可以试试吗？这使您可以在2013年组织编译专家编制的团队。开发Hadoop PL / SQL编译器的目标是选择与Oracle兼容。首先，经过两年的发展，我们的Sterling Transwarp Inctever在经过两年的发展后实现了自己的SQL解析执行引擎。兼容SQL 99和HiveQL。自动识别语法，因此可以符合现有的基于Hive的应用程序。Transwarp Inctiveor支持标准SQL 99标准。在传统数据库上运行的企业对于迁移到Transwarp Inctever系统非常有用。此外，Transwarp Inctepor支持PL / SQL扩展。基于传统数据仓库（例如ETL工具）的应用程序可以在Inctever上轻松实现。此外，Transwarp Inctepor支持一些SQL 2003标准。我们开发了一个专门的窗口统计数据库，安全审核功能和多个行业。因此，您可以满足多种工业特性要求。
另一个很漂亮的进步我们开设了一个新的产品线TOS（Transw操作系统），TOS是一个调整大数据的云操作系统。基于Docker和Kubernetes的TOS支持一个按钮部署TDH。首选的抢占资源调度和基于资源分配的微型数据，大数据将轻松应用于接收云服务，并执行传统的数据库服务，如mysql，不仅限于运行Loot群集执行。也可以。解决第二个问题，包括PostgreSQL，Redis。该操作系统今年6月正式发布。实际上，客户可以开始试用。Dokki，Dokkey Hadoop系统，我们被带领。
旧鱼类：我们经常听陈述，处理PB水平，高质量的结构化数据。使用Hadoop提供半结构化的非结构数据处理。这允许构造，半结构化和非结构数据处理要求同时满足。并谈论今天的观点。SQL持续改进导致Hadoop取代Hadoop连续改进的MPP。混合建筑消失了！这个观点的基础是什么？
圣元浩：混合架构本身是无助的选择。保持多种系统操作和维护也很难。起初，Hadoop的诞生是促进处理非结构化数据和半结构化数据。但是，在处理结构化数据时，该功能在处理时不完整功能。用户必须使用数据库或MPPS（大规模并行处理）数据库。支持Hadoup处理结构化数据。此外，Hadoop旨在处理数百TB和几个PB数据。但如果数据量小于10 TB，则Hadoop处理性能优于MPP数据库。
提高SQL在Hadoop技术中快速发展的SQL完整性，提高性能，以及我们的第一个决定是混合架构逐渐消失。过去的MPP数据库有三个优点。现在我们的SQL支持在MPP数据库附近，这次是第一个SQL已完成。第二个高于Hadoop性能。但是，可以看出Hadoop性能可能超过MPP几次。第三个优点是说上述BI工具。外延工具非常完整。传统的BI供应商查看Hadoop，Hadoop系统的BI工具丰富。有几个新的初创公司在Hadoop中开发新的BI工具。本工具本身支持。从这个角度来看，Hadoop生态系统超出了传统的MPP数据库。
在明年2年内，Hadoop将逐步取代MPP数据库。无需使用混合架构。无需在各种数据库之间迁移。有人说我的mpp正在迁移。这也是一个靠近Hadoop的事实。整个MPP数据库缓慢消失。我完全前往Hadoop。最后一项结果希望所有数据都将放在Hadoop中。无论某些GB级别或10 PB级别数据如何，都可以处理Hadoop。真的无限的线性延伸。
旧鱼类：纯技术我明白它是一个基本的软件（数据库）公司。你不知道你是否理解它？为什么这位定位？
圣元浩：你非常好，现在有很多客户寻求同样的问题。客户位于大型数据应用和解决方案公司。这是因为中国的大多数大型数据公司都是这种类型的。事实上，我们的立场是一个大型数据平台。基本软件。为什么你有基本软件？这是因为看到了明显的技术进化的趋势。从单机进行多核计算到计算色散计算，这一趋势是技术趋势。建筑革命一次。这个机会可能会有一次或20年后，这个领域正是我们的好处。所以我们准备投资这个领域。在中国，除了用户和美国的数量之外，中国公司的数据量通常不仅仅是外国公司。中国的应用方案也非常复杂。海外产品不能在中国运行，几乎没有变化。因此，中国是一个需要如此大数据的基本软件公司。所以我们相信我们在中国市场中有一个非常大的机会。这就是为什么这也是基本软件。中国也有很多合作伙伴。我们开发我们还建立了生态系统的各种应用程序。
总之，技术趋势最初是该领域。其次，市场环境对我们有用。第三，我们的创始人和团队技术预订和经验非常深入。这是建立纯技术的首要意图。承诺提供优秀的大数据基础软件。解决这些问题。
旧鱼类：基本软件很难。资金，人才，技术，规模等要求非常高。您是否考虑过您的业务中的这些问题？
圣元浩：这也是一个很好的问题。我们为意识形态做好了准备。基本软件真的很大，你可以运行150亿投资，你的产品。如果您申请，大数据应用领域没有太多的创新。没有办法将其与其他公司区分开来。基本软件对我们很好。
我们的目标不是追逐短期利润，或个人财富的短期增长。我们的目标是年长，就是这样。大多数斯特林出国外企业。每个人都放弃了一个高薪。唯一的目的是做这个承运人。
基本软件的人才更难以解决问题，而是企业家公司与大型外国公司和互联网公司相比。我认为更有吸引力：
首先，我们的作品是创新的最前沿，挑战，这对技术硕士更具吸引力。
其次，员工激励措施，我们都是所有权，每个人都有公司的选择，与外国公司的工作有很大不同。每个人都是同样的指挥官，每个人都在一起挣扎。
第三，国内企业家环境非常好。国家鼓励创新和企业家精神。为人才参与创造了一个有利的环境。
当然，通过仍然是一个问题，所以我们正在与招聘组织合作，同时我将促进新员工。请介绍一些技术硕士。
旧鱼类：从建筑图中，看着火花，Habas，Habase和其他Hadoop Ecotropic成分有许多转变和优化。我们还注意国内外大数据的最新技术动态，并考虑如何参加产品。什么规则将转换新产品功能？它是基于英镑的新功能吗？
圣元浩：我们的产品策略，我们的产品架构自地图以来地图。如下所示
Hadoop我们与社区同步。并为社区做出贡献。在HAPOP上有三个主要成分翻译过剩。运输街，运输人机，这三个组件我们位于自己的产品中。我们将独立开发和开发，此产品可启用标准SQL。或打开API，这是一个拆分线。Hadoop Ecosystem组件保证源版本并打开。Sparks还包括接口兼容性。
混合开发入门 Vue结合Android/iOS，开发仿?东京?项目App
本?程课?融合Vue、Android等流行?前的?端和移动端技术，混合?发开?经典电商APP——京东。课程将?杂复?功能与知?点识?完美融合，带你真?感实?受到明星级?品产?开发的全过程。除?之此?外，还有一?用流?户体验和优?交秀?互设计?你等?一探究竟，拓宽?发开?眼界。混合开发框架
如果遇到二维码失效——加V:wuq977 体验课程
混合开发框架
以上是关于混合开发框架孙元浩：Hadoop将取代MPP混合架构会消失的主要内容，如果未能解决你的问题，请参考以下文章