Gartner连续五年唱衰Hadoop，大数据厂商不以为然！

Posted 2021-04-13 IT168文库

      前不久，笔者调研了国内一线互联网公司的大数据架构（），Hadoop在其中占据了极其重要的位置，很多人都不看好的MapReduce更是出现在各大互联网公司的大数据架构中。

      本文调查了国内部分提供大数据服务的厂商，看看Gartner连续五年唱衰 Hadoop的情况下，他们的大数据平台是如何搭建的？是否基于Hadoop生态系统？Hadoop生态中各组件的存在感有多高？这些架构具备哪些共同特点？（本文内容来源于公开资料整理）

星环科技

      星环科技Transwarp Data Hub（简称TDH）是国内落地案例最多的一站式Hadoop发行版，也是Gartner认可的Hadoop国际主流发行版本。说白了，就是Hadoop商业版的发行商之一。TDH解决了Hadoop的性能问题，解决了企业需要MPP或混合架构的问题。对于现在还不太成熟的Spark生态而言，唯一的优势可能就是速度够快，但稳定性不足，企业很难尝试。TDH解决了Hadoop的速度问题，让Spark失去了抗衡条件。

      除了Hadoop生态组件，机器学习基本成为大数据平台的标配。Transwarp Discover就是一个分布式的机器学习平台，包含了不少分布式算法库。

      目前这个大数据平台已经在广东移动、广东电信、江苏银行、恒丰银行、中泰证券等电信运营商、金融证券、医疗卫生、邮政快递等几大行业应用。

荣之联

      荣之联的DataZoo整体分为三层，最底层的基础层基于Hadoop搭建，上层自研了五大引擎，整体加入了自然语言处理的能力。

      底层应用的Hadoop生态系统组件基本与星环科技一致，上层的实时流处理引擎也有异曲同工之妙。在对荣之联大数据专家的走访中，笔者了解到不少企业用户对实时流处理具有很高的需求，这在很多互联网公司的大数据架构图中也有体现，这也成为很多大数据厂商共同的发力点。

      目前DataZoo已应用于公安、证券、电商、新媒体、车联网及生物医疗等多个行业。

新华三

      新华三的H3C DataEngine平台产品同样基于Hadoop生态，集成了MapReduce、Spark、Storm、Tez等多种计算引擎，利用YARN资源管理组件统一管理调度。

      此外，该大数据平台产品在数据分析挖掘方面同样提供了机器学习的能力。支持R语言、集成机器学习算法库Mahout和Spark MLlib，包括一些常用的聚类分析、分类算法等机器学习算法；流式计算引擎同样是标配。

      目前看起来似乎仅仅应用在政务、公安和高校三个领域。

百分点

      百分点是国内大数据和人工智能技术与应用服务商，百分点的大数据操作系统（BD-OS）架构模块化清晰，机器学习、分布式数据库KHan和数据服务都是可独立使用的模块：

      底层的大数据技术平台基本可以分为Hadoop生态组件和机器学习组件，中间层同样加入了实时处理能力，上层也提供机器学习的能力。百分点最大的特点在于它的模块之间非常灵活，企业用户可以各取所需。其他厂商或多或少都具备这项能力，只是没有在架构图中一目了然的体现出来。

      目前主要应用于银行、政府部门、酒店、百货、Wi-Fi运营商、媒体、制造业等行业。

联想

      2011年8月，联想正式启动大数据建设。联想的企业级大数据分析平台主要包括6大产品线：大数据分析应用套件、大数据能力开放平台、大数据计算平台、数据采集转换套件、数据资产管理平台以及系统运维监控中心。

      整体同样基于开源生态搭建，其中的计算平台 Descartes基于Hadoop生态系统。在早期的平台资料中，我们只能看到这六大产品线的介绍。现在LEAP同样内置深度优化的机器学习框架及算法库，具备批量、实时计算技术。

      由于并没有寻到联想大数据平台更详细的架构图，所以此处对整体架构不做过多分析。

探码科技

      探码科技属于初创企业中的黑马，其Datale大数据应用平台是一款基于Hadoop的开源计算框架，集成了社区几十个成熟的Hadoop子项目。

      探码科技的大数据架构层次比较清晰，同时添加了机器学习引擎和自然语言处理引擎。但是，整体架构似乎与前几家厂商的有些不同。据悉，探码科技的优势市场在国外，比如美国的律师平台、医生平台和酒店等等，现在也在努力开拓中国市场。

浪潮

      浪潮是一家老牌的云计算和大数据厂商，其云海Insight大数据解决方案同样提供主流的Hadoop、Spark、MPP等架构套件。

      标配的流式计算和机器学习同样出现在浪潮的大数据平台架构图中，目前主要应用领域仍然是金融、电信、政务、医疗等行业。

用友

      用友大数据处理平台UDH基于Hadoop开源产品体系，从其官网公布的架构图不难看出，Hadoop占据了用友大数据平台的重要位置：

      用友最擅长的是金融财务方向，其大数据平台虽然功能不多，但针对报表展现、数据分析方面进行了不少优化，明显是有领域倾向性。

总结

      从上述几个大数据服务厂商的架构图不难看出：Hadoop、实时流处理以及机器学习能力几乎成为标配，每一个大数据架构都基于庞大的Hadoop生态组件，只看底层的话，各大厂商的区别还真不大，只有上层才会有一些区分。

      其次，企业用户与互联网公司对实时流处理都具备极高的需求，这在各自的架构图中都有所体现。很多大数据厂商也不过只是Hadoop生态的使用者，相比于调整Hadoop，他们或许更希望在应用层做文章。

      最后，机器学习成为了大数据厂商乐于提供的一大功能，很多厂商甚至可以单独提供机器学习或自然语言处理的模块。

      无论是大数据厂商还是互联网企业，Hadoop都是稳稳的基础层，好像没有人纠结其他选择，也没有人对此有过异议，也没有厂商将关注点放在Hadoop的替代品研究上，难道Hadoop垄断时代就此形成？

      你对Hadoop有什么看法？你所在公司目前的大数据平台是否同样基于Hadoop？Hadoop垄断时代到来，你同意这个看法吗？

投稿邮箱：[e-mail]

合作微信：zhaoyuyingycq

IT168文库APP

最专业的IT技术交流分享平台！扫码安装，与众多技术同好交流！

     IT168文库|中国最专业的IT文档分享平台，拥有百万活跃的IT技术精英！我们致力于有效帮助IT人士提升职业素养。