分布式架构的泼水节

Posted 2021-04-14 大数据服务观察

上周参加了数据猿组织的"strata和hadoop主题活动“，特别喜欢和推荐这种工作坊式的交流。参会大牛们可以有时间，有条件讲出更多深入的观点，面向的是业内的真爱人群，讨论的边界也很弹性，收获良多。

有关hadoop生态的演进发展趋势，我想没人比sequoiaDB的王涛更抓眼球了。把hadoop生态圈一刀切开，数据库分开，hadoop里面只留下计算引擎和文件管理体系，而数据库由四家或者多家各自发展就好，HBASE生命力已经萎缩，mongodb体系，hortonworks体系，sequoiaDB体系才是大腿级的驱动力量。

这真的是一场酣畅淋漓的泼水节，降温的同时送上了祝福和美好的祈望。

另外大佬谢总的观点也蛮让小心脏承压的，用GPU取代CPU，言下之意是用大容量内存GP计算平台干掉Hive/Impala这些依赖于传统PC节点架构。如果这个实现了，那干掉的绝不是一批。

沿着这些看似癫狂的观点，确实激励大家打开思考维度，认真了解一下Hadoop生态圈的演进方向。在专心钻研spark和storm这些开源热点技术的同时，看看方向是否需要矫准，这真的很重要。

<Hadoop's master developer     Doug Cutting, serving now in Cloudera>

还有3个趋势，我也摘录下来，附在最后。 数据湖即服务，区块链以及雾计算，这些应用的趋势也需要关注。

而作为企业CIO，被这种澎湃的技术暗流冲击的同时，一定要留意

1. 花费必要的成本构建必要的架构

   Hadoop生态圈并不了解和关注太多具体业务，也就是说您企业的需求还是要您自己搞清楚，基于需求和必要性，确定使用何种技术。技术成熟度曲线远远领先于成本曲线，而TCO曲线上，后期的斜率不得而知。

   
   

2. 关注主流，拥抱主流，这是拥抱开源的企业姿态。

CIO和CEO都要格外小心极客型架构经理的威胁，他们勇于也喜欢尝试不同的内容，在互联网企业环境中成本和造成的负面影响会小，因为90%的技术人员能力分担了这样的副产品，而在企业内，只有10%的IT力量，其中熟悉开源产品和后期技术的人寥寥无几，所以试错成本会很高。

3. 想清楚自己的应用构建。企业间在数据能力的差距越来越大，这种差距并不方案企业根据自身现状设计适配和有明确方向的数据架构体系，以及数据应用体系。而在此过程中，试错成本是一个可以透过导入外部专业资源有效降低的过程。这件事情几乎不是选择问题，更多的是执行和成本问题。

---

附上学习材料，帮助大家科普三大新的数据应用趋势。

　　趋势一    数据湖即服务   (Datalake as a service)

我们已认识了数据湖。企业从M2M连接、社交网络和远程工作人员积累了越来越多的数据，数据湖将成为他们的重要数据存储工具。
　　据Gartner称，“到2020年，信息将被用于重新创造、数字化、或消除80%的业务流程和产品(相比于10年前——2010年)”。在传统的存储解决方案中，数据之间是相互孤立的。数据湖与之正好相反，它允许存在各处的原始的、质朴的信息字节相互整合、分析。数据湖能够帮助你实现商业的数字化，使之真正成为数据驱动的商业，就像Gartner对2020年的商业预计一样。
　　由于数据湖带来了相当多的挑战，在2016年，我们将看到数据湖管理的未来：数据湖服务作为一种解决方案，为您的数据湖提供一个完整的管理方案。
　　数据湖服务将提供主动式存储方案，通过整理大量的结构化和非结构化数据，大量的应用才能够用于对其进行加工处理，包括企业数据仓库或开源技术，如Apache Hadoop或 Spark。一个使用了数据湖服务的企业，每个月仅需要为十亿字节支付几美分。
   　在2016年，我们将看到越来越多的大数据供应商提供这样的解决方案：给企业提供一个完整的、易于使用的、可扩展的解决方案，省去企业自建数据湖的麻烦。由于数据湖在大规模数据存储和分析方面具有巨大优势，数据湖服务解决方案将被用于许多组织中。尤其是规模较小的组织，例如互联网领域的初创公司，将从数据湖服务方案中获得数据湖所有的益处，省去了创建和维护数据湖的所有麻烦。
　　
　　趋势二：区块链的行业应用价值

在过去的几年中，我们看到区块链主要应用于比特币，但区块链技术提供了更多的可能性。在2016年，我们将看到很多行业将采用区块链。
　　一个区块链可以被看作是数字事件的一个公共分类帐或记录。这个公共分类帐由许多不同当事人共享，计算地理上和计算上的孤立节点，并且只有该系统的大部分成员都同意的情况下，这个记录才能被更新。只要新信息输入到分类帐，它就不能被擦除，而且所有人可见。因为区块链的存在，所有输入到分类账上的信息都是全透明的。
　　区块链的一个关键优势是：该系统是完全透明的，任何人都可以在不损害个人隐私的情况下，看到哪些交易输入到分类账。您可以在不透露当事人个人隐私的情况下，记录事件发生的事实，甚至记录它的正确性。
　　虽然大多数人将区块链与加密的比特币联系在一起，其实它还有更多的可能性。尤其是金融业将迎来的区块链技术的全面开花。世界上许多大银行正在试用区块链，更或正在对区块链初创公司进行投资。UBS(瑞银集团)已经创造了一个区块链实验室，Santander正在研究如何使用区块链管理他们的贷款活动，Goldman Sachs (高盛集团)投资了一个区块链初创公司，并且有一个大财团( R3 ’s global bank partnership )，负责调查的区块链的潜力。
　　然而，在2016年我们将看到，不同行业的多个应用程序使用区块链。基本上任何存在数字化交易的行业都将会受益于区块链技术，从金融业，法律行业，房地产，公证员，赌博，发布到数据存储。未来一年，更广泛的采用区块链将迫在眉睫。

　　

趋势三 - Fog Analytics

雾计算正在迅速地获得大量动力。雾计算是指推进连接到物联网的终端设备和存储数据的云计算之间的存储、传输和计算。随着物联网的进步，雾计算势头越来越猛，因为传感器变得相当精密，它们现在可以收集大量数据。

　　想象一下，你有一个网络，连接各种设备，它们产生了大量的实时数据。在设备和云之间来回传输数据变得尤其昂贵，而且花费时间太长。采用雾计算或雾分析。雾分析使得智能机器在当地执行一部分分析，只将分析结果发送到云端。

　　据Gartner称，智能机器是新的现实。因此，在未来的一年，我们将看到更多的智能机器有着越来越多的精密传感器，能收集大量的数据。组织将不得不转向雾分析，以便数据易于管理，保持洞察力可用并尽可能降低成本。

      在大数据方面，2016年将是令人振奋的一年。智能算法将接替现在由人类来完成的许多业务。我们将看到数据湖服务作为一种服务解决方案出现，帮助企业以最少的工作更多的使用数据。越来越多的行业将开始试用数据区块链技术(blockchain technology)以改变他们的行业。

　　组织将转向人力资源分析，以更好地激励员工，争夺稀缺人才。政府终将看到大数据的益处，并向智能化方向转变，但是组织和政府将不得不警惕黑客攻击，并采取适当措施。最后，由于智能机器将出现在各行各业，雾分析时代正式开启。

---

原创作品，欢迎转载  [e-mail] 欢迎投稿约稿

---

欢迎加入数思庐，大数据圈子里最小的群，凭实力加入，谢绝厂商销售和市场目的人员，可联系山姆亲