大数据独角兽Cloudera股价腰斩,Hadoop将何去何从
Posted AI前线
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据独角兽Cloudera股价腰斩,Hadoop将何去何从相关的知识,希望对你有一定的参考价值。
一周前,曾经同为大数据独角兽的 MapR 也传出了面临重大危机的 。根据加州就业发展部门的一份文件,MapR 于 5 月 14 日通知加州就业发展局,计划在其 Santa Clara 总部裁员 122 人。在工人调整及再培训通知 (WARN) 文件中,这次裁减被标记为“永久性关闭”,将于 6 月 14 日生效。这些是否昭示着 Hadoop 这一生态的衰败?
更多优质内容请关注微信公众号“AI 前线”(ID:ai-front)
Hadoop 包括两部分 MapReduce 和 HDFS,分别对应 Google 三架马车论文中的 MapReduce 和 GFS。后来 Hadoop 的 MapReduce 调度框架为了实现抽象度更高的资源调度,将编程模式剥离出调度框架,就出现了 YARN(Yet Another Resource Negotiator)。所以我们现在常说的 Hadoop 其实就是 HDFS 和 YARN。
围绕 Hadoop 进行商业化有著名的三巨头,分别是 Cloudera、Hortonworks 和 MapR,如今都不约而同地陨落了。
Cloudera 于 2008 年成立,创始人来自 Google、FaceBook 和 Yahoo!,在 2008 年还不知道大数据为何物的时候创办 Cloudera,可谓非常有眼光。还有一点不得不提的是,Cloudera 的首席架构师 Doug Cutting, 也就是 Hadoop 的第一位作者,后来被 Yahoo! 招安,再之后转投 Cloudera。顺风顺水,后来升至 Apache 基金会主席。
Cloudera 的 Hadoop 发行版 CDH 是免费的,但是公司通过卖服务赚钱。比如 Hadoop 集群的管理软件 Cloudera Manager 就是收费的。Cloudera Manager 的功能包括集群的管理、部署、监控、升级等,简单来说就是运维。而这些都是公有云要做的,毕竟云计算就是卖运维。
Cloudera 在 2014 年随着不断融资,投资方包括 Intel、Google,市值到达顶峰 41 亿美元。之所以说是顶峰,是因为之后的三年 Cloudera 的发展并没有如预想中的顺利,也终于在 2017 年以 20 多亿美元匆忙上市。
Hortonworks 于 2011 年由 Yahoo! 的 Hadoop 团队拆分而成,和 Cloudera 不同的是,Hortonworks 的代码是完全开源的。但是相比 Cloudera 起步晚,而且缺少了 Doug Cutting 这种领袖人物,亮点可谓乏善可陈。公司成立三年就于 2014 年匆忙上市,上市之初市值十多亿美元。
无论是 Cloudera 还是 Hortonworks 都没有赶上云产商这班车,比如著名的开源软件吸血鬼 AWS,针对 Hadoop 生态的公有云产品 Elastic MapReduce 对 Cloudera 和 Hortonworks 两家公司的影响不可谓不小。可能是疲于同行业内耗,最终两家公司与 2018 年 10 月份宣布合并,但是以事后的角度来看,合并并没有什么用。
MapR 的创始人 M.C.Srivas 来自于 Google。客观来说 GFS 架构设计其实并不是很好,HDFS 相当于对 GFS 论文的一种拙劣的模仿。而 Google 内部使用的分布式文件系统也是多方面碾压 HDFS。所以 M.C.Srivas 创立 MapR 的时候就将 Hadoop 的文件系统 HDFS 进行了重构,同时兼容了 Hadoop 协议,但是是闭源的。MapR 的商业化之路主打系统的性能等优于开源 Hadoop 的特性,在售价上也要高于 Cloudera。MapR 一度给人一种用技术挑战整个 Hadoop 社区的感觉,只不过很多人不买账。
在 MapR 看似一切都还发展不错的时候,M.C.Srivas 在 2016 年离开了 MapR 加入了 Uber。对于一个创业公司来说并不是一个好的信号,直到 2019 年 5 月底爆出消息,MapR 融资困难,可能在不久之后关闭。曾经估值高达 10 亿美元的一代枭雄或将在此陨落。
Hadoop 除了这三家发行商,目前在各大云厂商上都还以 Elastic MapReduce 的形态存在,包括 AWS EMR、Aliyun EMR 等。目前来看,对于 Hadoop 的存在形态,还会在公有云上存在一段时间。但是还能存在多久,拭目以待。
Hadoop 商业化平台的衰败或许并不能代表整个大数据行业的衰败,但是却预示着 Hadoop 的失败,对 Hadoop 的后续开发维护必然会产生影响。
作为 Hadoop 的替代产品,HDFS 在 AWS 上早已被 S3 取代。国内的各大公有云产生也有自己自研的文件系统。YARN 或许还能存在一段时间,很早之前就有人推崇使用 Kubernetes 来替代 YARN 作为资源调度器。但是由于 Kubernetes 的调度器是一种集中式的资源调度器,而 YARN 是两层资源调度器,目前 YARN 上面的作业并不能很容易地无缝迁移到 Kubernetes。
Hadoop 本是 Google 的上一代技术三架马车(GFS、MapReduce、BigTable)的模仿,设计不可谓优雅,但是也发展了十年左右,借着大数据的这班车也抢尽了风头。如今 Google 又开源了 Kubernetes 系统,大家才发现进程应该结合 Namespace 和 Cgroup 来跑,然后整个社区又被 Google 带着跑。
有的时候不得不说,号称不做恶的 Google 有的时候还是挺坏的。
今日荐文
5年内最大手笔!谷歌豪掷26亿美元收购数据分析公司Looker
6月29日,腾讯云【音视频及融合通信】技术沙龙,将围绕AI技术在视频智能识别场景下的落地实践,为现场开发者阐述如何更加紧密将视频直播与AI技术相结合。限时免费报名通道开启中,扫描【下图二维码】或点击【阅读原文】即可免费报名。
你也「在看」吗? 以上是关于大数据独角兽Cloudera股价腰斩,Hadoop将何去何从的主要内容,如果未能解决你的问题,请参考以下文章 上海Cloudera Hadoop大数据培训:CCAHCCP:DE 北京上海广州Cloudera Hadoop大数据:CCAH(管理员)CCA(Spark and Hadoop)HBase