云原生视角下,新一代数据平台架构怎么演进? | ArchSummit
Posted InfoQ
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了云原生视角下,新一代数据平台架构怎么演进? | ArchSummit相关的知识,希望对你有一定的参考价值。
过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。
云原生驱动下,新一代数据平台的架构迭代方向指向何方?业界数据湖与数据仓库的争论由来已久,数据湖的灵活性与数仓的管理能力成为大数据架构设计的“鱼”和“熊掌”,想要二者兼得是否可行?
2020 年,AWS、Databricks、阿里云同时提出“湖仓一体”概念,这一两者融合演进的新方向让业界耳目一新。
尽管有相同的目标,各个公司的演进路线却不尽相同,主要分为两种,一为湖仓融合,以 AWS 和阿里云的 MaxCompute 为代表,二为上下层结构,以 Databricks 的 Lakehouse 为代表。
那么“湖仓一体”能否真正落地?这些实践者具体的路径是怎样的?分别适用于什么样的场景?MaxCompute 实际表现如何?Databricks 的 Photon Engine 是否能够真正实现一个 Engine 解决所有问题?
将于 7 月 9-10 日在深圳举办的 ArchSummit 全球架构师峰会邀请到阿里云计算平台事业部研究员,阿里巴巴通用计算平台负责人关涛(观滔)担任出品人,邀请 Databricks 等公司的一线专家同台分享,试从“云原生”的视角,探讨新一代数据平台的架构迭代方向。包括但不限于湖仓一体落地实践、统一数据存储(HDFS、OSS 等技术演进)、Caching 层(Alluxio/JindoFS 为代表)、统一资源管理的挑战 (K8s 支持大数据计算的不足、混部技术)、统一元数据中心的技术演进、存算分离以及分布式内存池等等。
观滔还将围绕“大数据架构的演进”这一主题贡献一个主题演讲,内容正在紧张打磨中,对大数据感兴趣的同学不可错过。
除了【应云而生的新一代数据架构】专题,ArchSummit 深圳 2021 还有高可用高性能业务架构、下一代云原生技术体系、低代码 / 无代码、国际化运维架构、架构师经验传递、内容分发场景的系统架构实践等热门专题,快到现场与上百位大咖 1v1 交流,来一场技术深潜吧。
大会入场券 8 折优惠中,组团学习更多福利。有兴趣的同学可直接联系票务小姐姐:18514549229(同微信)
戳
以上是关于云原生视角下,新一代数据平台架构怎么演进? | ArchSummit的主要内容,如果未能解决你的问题,请参考以下文章