华为发布Volcano开源项目，让AI算力像火山一样迸发

Posted 2021-04-30 OSC开源社区

Volcano 是基于 Kubernetes 的批处理系统，源自于华为云 AI 容器。

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。

整体架构

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制，包括：

1. 机器学习/深度学习

2. 生物信息学/基因组学

3. 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow，Spark，PyTorch，MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

1. 作业管理的扩展和改进，如：

1. Multi-pod 作业

2. 生命周期管理扩展，包括挂起、恢复和重启

3. 提升错误处理

4. 作业的索引

5. 任务依赖

2. 调度扩展

1. 联合调度

2. 公平调度

3. 队列调度

4. 抢先和收回

5. 预订和回填

6. 基于拓扑逻辑的调度

3. 运行时扩展

1. 支持 Singularity 等专用容器运行时，具有 GPU 加速器扩展和增强的安全功能

4. 其他

1. 数据局部感知和智能调度

2. 优化数据吞吐量，往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上，并结合了开源社区的最佳创意和实践。

开源中国征稿啦！

开源中国 www.oschina.net 是目前备受关注、具有强大影响力的开源技术社区，拥有超过 400 万的开源技术精英。我们传播开源的理念，推广开源项目，为 IT 开发者提供一个发现、使用、并交流开源技术的平台。

现在我们开始对外征稿啦！如果你有优秀的技术文章想要分享，热点的行业资讯需要报道等等，欢迎联系开源中国进行投稿。投稿详情及联系方式请参见：

推荐阅读