云原生视角下,新一代数据平台架构怎么演进? | ArchSummit

Posted InfoQ

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了云原生视角下,新一代数据平台架构怎么演进? | ArchSummit相关的知识,希望对你有一定的参考价值。

过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。

云原生驱动下,新一代数据平台的架构迭代方向指向何方?业界数据湖与数据仓库的争论由来已久,数据湖的灵活性与数仓的管理能力成为大数据架构设计的“鱼”和“熊掌”,想要二者兼得是否可行?

2020 年,AWS、Databricks、阿里云同时提出“湖仓一体”概念,这一两者融合演进的新方向让业界耳目一新。

尽管有相同的目标,各个公司的演进路线却不尽相同,主要分为两种,一为湖仓融合,以 AWS 和阿里云的 MaxCompute 为代表,二为上下层结构,以 Databricks 的 Lakehouse 为代表。

那么“湖仓一体”能否真正落地?这些实践者具体的路径是怎样的?分别适用于什么样的场景?MaxCompute 实际表现如何?Databricks 的 Photon Engine 是否能够真正实现一个 Engine 解决所有问题?

将于 7 月 9-10 日在深圳举办的 ArchSummit 全球架构师峰会邀请到阿里云计算平台事业部研究员,阿里巴巴通用计算平台负责人关涛(观滔)担任出品人,邀请 Databricks 等公司的一线专家同台分享,试从“云原生”的视角,探讨新一代数据平台的架构迭代方向。包括但不限于湖仓一体落地实践、统一数据存储(HDFS、OSS 等技术演进)、Caching 层(Alluxio/JindoFS 为代表)、统一资源管理的挑战 (K8s 支持大数据计算的不足、混部技术)、统一元数据中心的技术演进、存算分离以及分布式内存池等等。


观滔还将围绕“大数据架构的演进”这一主题贡献一个主题演讲,内容正在紧张打磨中,对大数据感兴趣的同学不可错过。

除了【应云而生的新一代数据架构】专题,ArchSummit 深圳 2021 还有高可用高性能业务架构、下一代云原生技术体系、低代码 / 无代码、国际化运维架构、架构师经验传递、内容分发场景的系统架构实践等热门专题,快到现场与上百位大咖 1v1 交流,来一场技术深潜吧。

大会入场券 8 折优惠中,组团学习更多福利。有兴趣的同学可直接联系票务小姐姐:18514549229(同微信)

以上是关于云原生视角下,新一代数据平台架构怎么演进? | ArchSummit的主要内容,如果未能解决你的问题,请参考以下文章

离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

云数据库架构演进与实践

云数据库架构演进与实践

因云而生 全新视角看阿里云服务器硬件方升架构

云原生全栈可编程的下一代SDN解析与实践 丨传统SDN架构演进

云原生微服务治理技术朝无代理架构的演进之路