IBM 深度学习框架PowerAI，将训练时间从几周变成几小时

Posted 2021-04-29 中国指挥与控制学会

“2017全国首届兵棋推演大赛”进展情况

5月15日-报名截止    请抓紧时间报名！

报名请回复“个人赛”或“组队赛”

来源：hpcwire.com

编译：张易

【导读】IBM Power Systems 上的深度学习框架 PowerAI 日前发布了新版本，包括“AI Vision”等四个主要组成部分，它支持新的 NVIDIA Volta，将 AI 训练所需时间，从几周变为了几个小时。

新的 PowerAI 软件由四个主要部分组成

IBM 日前宣布在 Power Systems 上发布深度学习软件PowerAI 的新版本。这一 GPU 驱动的 AI 软件通过简化对开发经验的需求和对数据准备的要求，来解决数据科学家和开发人员面临的主要挑战，同时将 AI 系统训练所需的时间，从几周变为了几个小时。

 

新的 PowerAI 软件由四个主要部分组成：

• “AI Vision”是为深度学习知识有限的开发人员设计的一种工具，用于训练和部署计算机视觉的深度学习模型。

• 集成了 ApacheSpark 的 IBM Spectrum Conductor 集群虚拟化软件集成，轻松转换非结构化和结构化数据集，为其用于深度学习训练做准备。

• TensorFlow（谷歌构建的开源机器学习框架）的分布式计算版本，可以在GPU 加速服务器的虚拟化集群上运行，IBM 表示这将学习训练时间从几周削减到几个小时。

• “DL Insight” 是一种新工具，可帮助数据科学家通过监控深度学习训练过程并自动调整参数以达到最佳性能，从而提高深度学习模型的准确性。

“我们增加了一套工具来使数据科学家的工作变得更轻松，我们增加了一些功能来加快训练时间。”IBM 主管 HPC、AI 和 Analytic 的副总裁 Sumit Gupta 说，“PowerAI使数据科学家和开发人员更容易地使用 AI 来构建应用程序，而不必编写复杂的代码，担心集群管理之类的问题。”

Power Systems 与 x86 形成鲜明对比

IBM Cognitive Systems 高级副总裁 BobPicciano 说：“PowerAI的目标是尽可能简单、直观和有效地让数据科学家和新兴的认知技术开发者社群进入AI 的世界。PowerAI 减少了等待的挫折感并提高了生产力。Power Systems 专为数据和下一代计算而设计，与过去为客户/服务器可编程时代设计的 x86 服务器形成鲜明对比。”

电子内容管理公司Elinar Oy Ltd 的 CTO Ari Juntunen 表示：“IBM PowerAI 在带有GPU 加速器的Power servers 上提供了至少两倍于我们 x86 平台的性能。无论是增加内存还是设置新服务器，一切都更快捷简便了。”

IBM 还引用了韩国电力研究院（KEPRI）的例子，该机构希望使用无人机来检查高压电力线路。

“我们需要一个深度学习和高速存储平台，可以处理和存储我们从无人机上获得的大量图像/视频，”KEPRI 的陈武霖说，“（PowerAI）满足了这些需求，使我们能够改进系统，同时为我们降低成本。”

IBM 的 Gupta 表示，KEPRI 的需求是典型的计算机视觉工作负载的简化，PowerAI 和 AIVision 正是为此设计的。

他说：“耗时的部分原因是在 100M图像上使用像 TensorFlow 这样的框架。当您有100M的图像需要转换并准备输入到 TensorFlow 中时，您就会遇到挑战。我们使用SpectrumConductor 自动化数据准备和 ETL，它会自动启动整个 Spark 工作群集，每个Spark 一次转换500万个图像。从用户的角度来看，他们甚至不知道...它在集群上发起了大量的工作，他们只知道数据正在被转换。”

  

PowerAI 支持新的 NVIDIA Volta

PowerAI 针对用于 HPC 的IBM Power Systems S822LC 进行了优化，用于数据密集型的工作负载，如深度学习、机器学习和AI。 NVIDIA NVLink 高速互连可实现IBMPOWER 处理器和NVIDIA GPU 的紧密集成。POWER 处理器和NVIDIA GPU 之间的“超高速公路”有助于在两种类型的处理器之间实现极快速的数据移动。这种独特的CPU 到GPU 耦合在AI 训练中能够提供更高的性能，这是开发人员生产力的关键指标。它能够以更快的速度实现创新，因此开发人员可以开发和尝试新的模型、参数设置和数据集。

PowerAI 将支持刚刚发布的 NVIDIAVolta 架构。Volta具有下一代NVLink ，配有两个关键性的增强功能，能够为 PowerAI 用户带来：（a）Power9CPU 和 Volta GPU 之间的数据传输比 VoltaGPU 和 x86 CPU 之间的数据传输速度要快10倍，其依赖于旧的 PCI-e 3.0 界面，4年前首次引入；（b）由于内存一致，可以在连接到 Power9 CPU 和 GPU 内存的系统内存之间自动移动数据，编程GPU 加速器对于软件开发人员来说更容易了。

  

关于PowerAI

深度学习框架PowerAI的组建、测试和预先分发运行在为AI 构建的IBM Power System 服务器上。这一硬件和软件的组合能够轻松处理计算任务很重的工作负载。PowerAI为数据科学家和开发人员提供了最快的开发速度，无论是在企业内部部署还是在云中。

PowerAI 是机器学习和深度学习开源应用框架的企业软件分发。可单一下载，易于安装二进制分发，包括TensorFlow，Caffe，Torch，Theano，Chainer，NVIDIADIGITS以及其他机器和深度学习框架，以及相关的库和包。

PowerAI 生态系统包括来自ContinuumAnalytics 的Anaconda，H2O 的H2O 机器学习库，Bons.ai 的 AI软件开发工具等许多软件。

链接：https://www.hpcwire.com/2017/05/10/ibm-powerai-tools-aim-ease-deep-learning-data-prep-shorten-training/

C2

如何加入学会

注册学会会员：

个人会员：

单位会员：

学会近期活动

1. CICC企业会员交流会

会议时间：（具体时间详见后续通知）

2.2017首届全国兵棋推演大赛

2017年6月

长按下方学会二维码，关注学会微信

感谢关注