直播 | TalkingData的Spark On Kubernetes实践

Posted 2021-04-16 分布式实验室

分享时间 ：5月8日 20:30

分享主题：TalkingData的Spark On Kubernetes实践

分享人介绍：徐蓓，TalkingData云计算架构师，负责云计算、OpenStack、Kubernetes和容器平台的研发与架构。曾在HP、Face++等公司任职，从事云计算研发5年有余。同时也是OpenStack与Kubernetes的contributor。崇尚工程师文化，以目的为导向，致力于推动技术落地与实践。

分享摘要：众所周知，Spark作为快速、通用的数据处理引擎，已经成为大数据计算的事实标准。 而计算作业的资源分配和调度是Spark集群的重中之重。在TalkingData的计算资源平台化过程中，我们使用Kubernetes作为Spark的资源调度管理，利用Kubernetes的原生调度、资源配额、Namespace和Admission Controller，为用户提供了可租户隔离、动态伸缩和即拿即用的大数据计算平台。

主要内容：

• 如何部署可用于生产的Kubernetes集群

• Spark与Kubernetes集成

• 如何实现租户与资源隔离

• Spark On Kubernetes待解决的问题

分享群：DockOne技术交流微信群