Hadoop如何形象描述大数据生态？

Posted 2020-08-07 junneyang 的博客

作者：千岁大王
链接：https://www.zhihu.com/question/27974418/answer/39845635
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

Google内部早就开始玩大数据，发现时代跟不上他们的节奏，担心技术后继无人，于是发表了三篇论文（搜下gfs bigtable mapreduce）。有几个工作不饱和，整天没事干的人，想搞个开源的网页搜索（lucene nutch）。看到那三篇论文被震惊了，于是开始依葫芦画瓢，在一个二流的互联网公司(Yahoo)开始实践。这正中Google下怀。倒腾几下，出来了一头大象（hadoop），这只是个代号而已。大数据，不仅仅是存储海量的数据，更强调利用好数据的价值，这就是分析和计算。好比一个庞大的原子弹研发团队，爱因斯坦只有一个，把爱因斯坦压榨成疯子模样也只是杯水车薪，但是可以往里面投入能力差一点、各个大学、研究机构量产的、也有一定能力的学渣们（我靠），来一起搞，人海战术被证明是可行的，因为cpu不就是很多二极管（2货们）组成的嘛。每个学渣要能记住一些信息和处理一些信息。这就是分布式存储和计算（hdfs mapreduce），上层由爱因斯坦之类的来统一把控。好吧，开始跑，罗斯福问爱因斯坦，学渣们靠得住吗。爱因斯坦回答，这个系统本来就假设学渣们靠不住，他们天天dota，泡妹子，但系统有足够好的容错性，一个不行就换另一个，一个太慢就两个一起跑，谁快用谁，内部还有信用机制和黑名单呢。罗斯福说，我看行。