如何轻松训练大模型?来NVIDIA GTC,听OneFlow的解决方案

Posted OneFlow深度学习框架

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何轻松训练大模型?来NVIDIA GTC,听OneFlow的解决方案相关的知识,希望对你有一定的参考价值。

11月8日至11日,NVIDIA GTC 将在线上拉开序幕,一流科技OneFlow创始人兼CEO袁进辉博士受邀发表主题演讲。他将和广大观众分享OneFlow近一年来的最新探索与实践,探讨如何在分布式GPU集群上轻松简洁地进行大规模深度学习模型训练,探讨大规模深度学习模型训练的前进方向。

NVIDIA GTC 大会(GPU技术大会)是英伟达面向GPU开发者举办的大型盛会,会上将展出当今计算行业的重磅研究成果。近年来,GTC大会内容已从高性能计算、图形学扩展到了云计算、企业计算、人工智能、深度学习、机器学习、自然语言处理、自动驾驶、虚拟现实、物联网、药物研发等方向,通过计算和人工智能助力探索各行业的新可能。除了关注最新科研成果和技术应用外,GTC大会还设立专属会场,邀请来自各领域的专家讲授包括深度学习、CUDA等课程,为初创企业提供教育和培训机会。GTC大会正在被打造成一个充分开放的技术社区,面向开发者、研究者、科学家、教育工作者、专业人士、学生等各类群体均有相应的活动,致力于将AI的技术知识推广至更广泛的人群中。

此次,一流科技OneFlow创始人兼CEO袁进辉博士受邀发布题为“Large-scale Distributed Deep Learning on GPU Cluster Made Easy: A Proposal from OneFlow”(让大规模分布式深度学习模型在GPU集群上轻松训练:来自OneFlow的方案)的演讲。近年来,随着大规模分布式深度学习模型(例如GPT-3)备受关注,此类训练需求不断上涨,但很少有深度学习框架可对分布式训练做到原生支持。袁进辉博士此次将展示OneFlow今年来的研究成果,分享如何通过核心技术“一致性视角”在分布式GPU集群上做到效率最大化。

袁进辉博士的演讲将在11月11日下午5:00-5:50 进行,欢迎届时收看和互动。

◢◢◢扫描下方二维码◣◣◣

进入预约通道

以上是关于如何轻松训练大模型?来NVIDIA GTC,听OneFlow的解决方案的主要内容,如果未能解决你的问题,请参考以下文章

分享NVIDIA GTC 23大会干货加速生成式AI在生物学和医疗领域的应用

轻松扩展机器学习能力:如何在Rancher上安装Kubeflow

TensorFlow 2.0 在单 GPU 上训练模型

如何确定测试批量大小以充分利用 NVIDIA Titan X

GTC 2020 Keynote

Nvidia宣布支持Kubernetes容器的GPU加速