3天用 Hudi 撸了个数据湖出来，我飘了~

Posted 2021-09-09 zhisheng_blog

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了3天用 Hudi 撸了个数据湖出来，我飘了~相关的知识，希望对你有一定的参考价值。

大数据领域，传统的数仓技术显然已经无法满足时代的发展需求。

随着我国数字化社会的加速构建，“以数据为基础，以业务为核心，依托生产、流通、交易等场景化载体，综合应用人工智能等新一代信息技术，全面提升企业的智能化运营水平和数字化创新能力，并全面、实时提升用户体验”的新一轮数智化转型即将到来。

一线大厂和诸多企业纷纷部署自家的数据湖技术体系，落地数智化转型发展，切实提质增效。

01

大数据的新风口：数据湖

数据湖并不是一个新概念，它最早是由Pentaho的创始人兼CTO—James Dixon在2010年10月纽约Hadoop World大会上提出来的。

它一经问世，便受到了广泛关注，尤其是深受一些云技术头部企业的青睐：AWS、阿里、华为、谷歌、腾讯等纷纷推出基于云技术的数据湖服务产品。

根据Aberdeen的一项调查显示，实施数据湖技术的组织比同类公司在有机收入增长方面高出9%，数据分析的商业价值充分彰显。

那么，数据湖究竟是啥？凭啥能够成为大数据变革的下一个风口？

从存储数据层面来看：

数据湖技术本质上是实现全量数据单一存储的高级架构，可以存储任意规模、任意类型、需求各种速度的数据，包括结构化（传统数仓承载的数据）和非结构化数据（音视频、图片、文本等），通常存储原始格式的对象块或者文件。无需任何预处理，消除数据采集和存储的复杂性，加速应用数据。

从数据分析处理层面而言：

数据湖支持多种数据处理技术，可以运行从控制面板、可视化、大数据处理、实时分析到机器学习等不同类型的分析。基于读取型Schema的特点，数据湖在分析的时候临时建立Schema和表，用SQL数据分析，既覆盖传统数仓可以提供的BI分析和各种报表，还能够满足企业多方业务部门自主提取非结构化数据进行灵活分析的多元需求，大大提升了敏捷性和精准度。同时还能与数仓、数据库无缝集成，扩展现有数据应用，帮助企业大数据中台实现优化升级。

从企业运用层面的角度看：

数据湖技术打破了“数据孤岛”，允许企业中的多种职能角色（如数据科学家、数据开发人员和业务分析师等）通过各自选择的分析工具和框架（包括Apache Hadoop、Presto和Apache Spark等开源框架和数仓以及各种BI产品）来访问数据，而无需将数据移至单独的分析系统，节省定义数据结构、Schema和转换的时间。不仅能够实现跨领域、跨平台、跨媒介的数据分析，还可以提供更全面和更精准的数据分析结果，灵活高效支撑决策制定，真正实现降本增效。

从建设成本方面来看，基于云平台，可以实现一键建湖，数据湖的大小随需而定，容量规模可以依据企业的需求随时调试，完全省去了前期购买硬件基础设施成本，同时大大节省了人力成本和时间成本。

同时，数据湖能够支持机器学习分析，具有提供极高的带宽、多协议互通、数据共享的能力，可以极大地加速数据挖掘、深度学习等过程，可以满足人工智能发展的数据分析需求。在应对未来发展方面，能够进行数据预测，助力企业更好地识别和抓住业务增长的机遇，实现数字创新，不断优化产品服务，提升客户体验，切实落地数智化转型。

具体到落地执行，企业的数据湖究竟该怎么建？有哪些数据湖技术框架可用？如何助力企业大数据中台升级？数据湖分析系统与现有技术怎样才能实现更好的融合？

为了帮助广大研发工程师、架构师提质增效，拥抱新机遇，提升职场的核心竞争力，最大化地发挥数据湖的实用价值，由前58技术委员主席孙玄联手快狗打车CTO沈剑老师，结合10多年一线大厂经验，打造的《数据湖：大数据的下一场变革》市场独家精品在线专栏课即将开班，一门课程，三天时间（8月23日—8月25日 20:00-22:00）带你快速搞透数据湖前沿高新技术，开阔行业视野，切实落地玩转数据湖框架和分析系统，实现向资深研发工程师的技能跃升。