带有原生Kubernetes支持的Apache Spark 2.3

Posted 2021-04-16 CNCF

介绍Apache Spark + Kubernetes

带有原生Kubernetes支持的Apache Spark 2.3结合了两个著名的开源项目 - Apache Spark，一个大规模数据处理框架; 和Kubernetes。

具体而言，Kubernetes中的本地Spark应用程序充当自定义控制器，创建Kubernetes资源以响应Spark调度程序发出的请求。 与在Kubernetes中以独立模式部署Apache Spark相反，原生方法提供了对Spark应用程序的精细管理，提高了弹性，并与日志记录和监视解决方案无缝集成。社区还在探索高级用例，如管理流式工作负载和利用Istio等服务网格。