hadoop--从“古斯塔夫”大炮说起

Posted 2021-04-13 破产DBA

话说关系数据库postgres与hadoop选择大象作为logo，其应用细分领域不同，但都想做一个“灵活的胖子”，这点我要好好学习下...

       最近正好看了一部二战纪录片，里面提到了一门来自德国的大炮--“古斯塔夫列车炮”， 这里对技术不做过多解读，但使用原理上与hadoop的MapReduce惊人相似：

• 车炮口径为800毫米，炮管长达32米，火炮在战斗状态的全长达53米，高12米，重1488吨。即使在现在这无疑也是一个庞然大物。
  

  

• 炮弹重7.1吨（穿甲弹），4.8吨 （高爆弹），1.8 - 2.0吨 （推进燃料）
  

  

• 1944年镇压华沙起义中，将华沙全城几乎痍为平地！

  

• 大炮需要众多操作维护人员
  

       “古斯塔夫”炮英会先派出250人，组装火炮（需要近3天时间），而要让火炮持续不断射击，操炮人数至少要保持到250人以上。

       辅助力量方面，有2500人的工程兵部队负责铺设铁轨，以便火炮机动。 

       hadoop原理上与 “古斯塔夫”大炮很类似，MapReduce是分而治之的理念，把一个复杂的任务划分为若干个简单的任务分别来做。把一些数据通过map来归类，通过reducer来把同一类的数据进行处理。map的工作就是切分数据，然后给他们分类，分类的方式就是以key,value（键值对） 分类之后，reduce拿到的都是同类数据进行处理。

        同样的， “古斯塔夫”大炮重达1000多吨，一次性前往战场不太实际，沿途的桥梁都无法承受这样大的重量， 出发前需要将各组件拆解，分散运输，到目的地后完成总装，可能还需要铺设轨道做短途位置调整，要想正常使用，需要2000多人的团队维持，这与hadoop的分布式处理很类似，可能需要前期做很多数据分割、排序、组合任务，或许也会花一部分时间，但对于几十上百T的超大型的数据处理任务，前期准备任务所占用的时间仅仅是这个不可能完成任务的一小部分。

      自2011年12月27日1.0版本以来，hadoop生态已经百花齐放，一定规模的企业都已经将其作为大数据的基础平台，2009年4月-- 赢得每分钟排序，59秒内排序500 GB（在1400个节点上）和173分钟内排序100 TB数据（在3400个节点上），现在看来这个速度都是很惊人的。

      hadoop的惊人处理速度充分发挥了一个不行来两个，两个不行来来一砸的“简单粗暴”精神，值得深入学习！hadoop生态对于DBA来讲，"HIVE"，"HBASE"是个不错的应用入口，后续也将持续学习，有共同兴趣爱好的欢迎加我微信，一起学习，共同进步！