Mesos支持GPU：为云操作系统加入核动力

Posted 2021-04-24 优云数智

【编者按】：Mesos支持GPU了！从此以后，数据科学家与机器学习专家们只需要专注于自己的模型与应用，而不必再操心分布式系统搭建和资源分配的问题了。

目前已经有众多企业开始使用Apache Mesos，或基于Mesos的数据中心操作系统（简称DCOS）处理各类实际任务，从Yelp、苹果的Siri、爱奇艺到去哪网皆有涵盖。现在，通过Mesosphere和Nvidia的合作，Mesos已经具有支持GPU的能力。这意味着那些具备GPU加速的APP，如：深度学习、图片与视频处理、语音与自然语言处理乃至图形分析等，也可以使用云操作系统（DCOS）轻松的管理起来。

通过对GPU的支持，我们能够帮助用户充分利用数据处理与计算技术优势，并借此构建起未来最具人气的应用程序。其中包括处理规模日益增长的来自移动手机、无人机、车辆的视频、音频与其它数据流，同时借助先进的机器学习方案帮助我们分析各类丰富数据与构建智能化产品。

深度学习变得越来越重要

深度学习已经成为机器学习范畴当中的一大高人气分支，我们的很多同事目前已经将其引入日常工作，其中具体包括：

• 在移动手机或者其它设备之上进行语音搜索

• kype翻译

• 以苹果Siri与微软Cortana为代表的数字化助手

• 文本消息应用当中的自动更正功能

• 谷歌照片以及Flickr等图片应用中的搜索功能

• Netflix与Spotify等服务中的内容推荐引擎

目前我们尚处于新一轮人工智能革命的起点。谷歌公司CEO Sundar Pichai在最近的财报电话会议当中严肃的指出，“机器学习是一种核心的变革形式，我们将借此重新思考自身目前正在进行的一切工作。”谷歌、Facebook、微软、苹果、百度、Twitter、IBM以及其它一系列技术巨头都已经开始向深度学习领域投入大量研发经费，而这一趋势未来还将延续下去。

随着消费者在浏览网络或者使用移动设备时逐渐习惯其中提供的智能化体验，他们自然也会希望能够将这种智能元素推广到其它领域。而此类新型机器学习方法也已经在多个层面实现了重大进展——从私家车到家用机器人皆有涵盖。

动力源自GPU

为了提供真正拥有实际价值的AI应用，GPU已经不再单纯局限于超级计算中心与企业数据中心——尽管其以往确实单纯用于处理图形渲染或者资源密集型工作。GPU的并行特质使其成为各类新型视频处理与机器学习工作负载的理想选择，因为这类任务当中往往充斥着大量亟待处理的复杂数据以及需要运算的复杂算法，而CPU在面对这些任务时往往表现乏力。

在这方面，GPU已经成为客观层面上多种深度学习系统的最佳硬件选择。其中包括谷歌、Facebook以及百度。大部分最具人气的开源深度学习软件库都针对GPU进行了优化，而Nvidia公司亦着手对其CUDA编程模型加以调整，旨在更好地适应深度学习的实际需要。作为Mesos大数据发展规划中的重要组成部分，Apache Spark也同样允许用户在机器学习任务当中享受到GPU加速带来的优势。

在DCOS之上运行GPU工作负载的一大好处在于，DCOS本身其实是一套面向数据中心规模级别应用的操作系统。从广义角度讲，这意味着用户有能力利用其创建起大量共享集群，并利用它们完成从代码测试到高性能计算工作负载在内的各类具体任务。用户可以根据实际需要安装（或者构建）服务，将其运行在DCOS之上并提交运行所需的资源数量。DCOS随后会确保对应服务被部署在正确的设备类型之上，且为其分配对应的资源规模。

通过与Nvidia方面的协作与努力，Mesos将能够将GPU资源引入硬件资源家族，这意味着其将与CPU与系统内存资源一样为各类工作负载所使用。来自各集群的相关资源将被汇聚起来，并在本质上形成一套大型GPU。如此一来，数据科学家与机器学习专家们即可专注于自己的模型与应用，而不必在操作分布式系统或者打理资源分配工作方面耗费太多心神。

不过在Mesosphere过去两年多当中所采取的一系列企业IT精简与效率提升举措当中，这只能算是众多成果之一。Mesosphere的DCOS已经能够以前所未有的便捷方式部署大数据系统，并利用其支持现代数据流处理与分析工作负载，进而实现商务智能以及物联网等确切方案。我们还对Docker及Kubernetes等容器技术提供支持，这意味着DCOS用户能够享受由现代应用架构以及代码部署实践所带来的诸多收益。

而目前，我们与Nvidia方面的合作关系已经将GPU支持能力纳入Mesos与DCOS当中，这意味着用户们将进一步迎来用户生成内容、全方位视频资源普及以及机器学习等新趋势等实际成果。换言之，用户将能够专注于寻求适合自己的应用程序并构建相应模型，而我们则负责打理与底层基础设施相关的各项任务。

英文原文：

https://mesosphere.com/blog/2015/11/10/mesos-nvidia-gpus/

点击"阅读原文"了解更多Mesos知识