昇腾AI+大模型，国科大团队斩获“互联网+”大赛金奖

Posted 2023-01-02 CSDN资讯

正值产业智能化进程迅速发展之际，伴随人工智能技术与产业发展的深度融合，AI帮助企业挖掘数据价值，实现智能化的落地应用，充分释放技术创新带来的红利。然而企业在实践的过程中，由于各行业场景不同，技术基础不一，存在落地场景碎片化，AI开发门槛过高等难题。

拥有泛化性、效率高等优势的AI大模型正在改变上述局面。在第八届中国国际“互联网+”大学生创新创业大赛（下文简称“互联网+”大赛）中，夺得金奖的“紫东.太初-全球首个图文音多模态破壁者”项目，便是这样一款创新的AI大模型。

该项目由中国科学院大学博士生陈志扬带队，他与孙铭真、郑嘉榆、张彦雨等同学一起，在王金桥、刘静、朱优松、胡毅、宁芮可老师的指导下，参加了“互联网+”大赛的产业命题赛道。自参赛以来，团队与下游产业展开深入调研，和昇腾AI团队进行技术交流，积极投入项目的研发，最终突围而出。

据项目指导老师——中国科学院自动化研究所“紫东.太初”多模态中心常务副主任、武汉人工智能研究院院长王金桥表示，“紫东.太初”的出现，是迈向通用人工智能的关键一步。

那么“紫东.太初”有哪些创新之处？它对行业发展有哪些意义？

对此，CSDN采访了王金桥老师和陈志扬同学，详解“紫东.太初”大模型的创新与实践，分享陈志扬团队一路走来的获奖心得与收获。

迈向通用人工智能的关键一步

“紫东.太初”项目由中科院自动化所、华为以及武汉人工智能研究院基于昇腾AI基础软硬件平台联合打造，提出了多任务多层次的跨模态自监督学习方法。通过使用昇思MindSpore+昇腾AI算力+CANN异构计算架构，开拓性地实现了图像、文字、语音与视频等不同模态数据之间的统一表示和互相生成，形成了完整的智能表示、推理和生成能力。“紫东.太初”可支撑全场景AI应用，提升泛化能力、突破精度限制、覆盖多行业多场景、降低研发成本。

以往AI算法模型通常是单模态，即一个模型只能解决一个任务，模型功能单一。且模型训练依赖大量数据，AI模型泛化能力差，通用性不足，无法广泛应用于AI落地场景。”紫东.太初”将当前AI模型“一专一能”的现状转为“多专多能“，采用一个大模型便可灵活支撑图像、文本、语音全场景AI应用。

王金桥照片

据王金桥老师介绍，“紫东.太初”具备三大技术优势：一是通过跨模态、多任务的自监督学习，开拓性实现图像、文本、语音的跨模态统一理解和跨模态的自动转换。二是让“以图生音”和“以音生图”成为现实，打通不同模态之间的图像、文本、语音理解的鸿沟，以趋近于类人的学习和思考的方式，进一步提升了人工智能的创造力；三是通过搭建“紫东.太初”大模型服务平台，实现一站式低代码人工智能模型的训练、研发和部署，从而迈出人工智能通用化的关键一步。

王金桥老师进一步解释道，“紫东.太初”正在改变当前AI的研发范式。原来实现目标识别、车辆识别等场景应用时，需要专业的研究人员研发专用AI模型来实现。如今“紫东.太初”大模型开放服务平台将这一切变得容易，开发者以低代码的方式来快速完成AI模型的研发。由于AI落地场景不一，每个企业的需求都不一样，通过该平台使模型研发效率从原来的2到6个月时间，缩减到现在的2到4周时间，大大提高AI模型的生产和研发效率，大幅度降低研发成本。

“紫东.太初”让AI研发从原来的“手工作坊”模式，有机会变成工业化模式，实现AI普惠化，加速各行业的智能化转型实践。

昇腾为底座，构筑AI生态

“紫东.太初”在手语识别场景中的应用

“紫东.太初”推动AI研发范式和产业应用模式的新变革，为人工智能渗透千行百业提供强有力的基础。如今在智能制造、智慧交通、智慧医疗、智慧文旅等领域上，均有示范性落地应用。

这背后，离不开昇腾AI提供诸多助力。

技术上，“紫东.太初”以昇腾人工智能基础软硬件平台为基础，运用包括昇腾AI硬件和全场景AI框架昇思MindSpore来打造多模态通用人工智能平台，从而实现全栈自主创新的大模型。

陈志扬团队照片

在备战“互联网+”大赛的过程中，陈志扬团队使用昇思MindSpore和CANN进行完整的项目开发后，最大的感受是刚开始使用昇思MindSpore还不是十分熟悉，幸好昇腾AI团队提供非常到位的技术支持，帮助他们高效开发。

当他们训练大模型时，发现大模型开发需要使用的模型并行、数据并行等底层技术，复杂得让人望而却步。好在昇思MindSpore提供全场景统一的API，可进行自动微分、自动并行、自动调优等，是一个性能极佳、极简易用的AI框架。因此团队只需将精力放在算法设计上，无需过多关注底层技术实现，还可以调用昇腾提供的AI算力完成相关的算法开发、训练大模型，最终团队顺利完成参赛作品，并取得优秀成绩。

在平台建设上，昇腾AI推出的大模型开发使能平台，简化大模型开发到部署的流程，目前已应用于“紫东.太初”大模型开放服务平台，助力“紫东.太初”大模型开放服务平台面向企业和开发者提供模型推理部署、模型应用开发、模型算法创新开发等服务，具备低代码一站式开发、全栈自主创新、开发效率高和赋能代价低、普惠算力等优势。

从中我们可以看到，以昇腾AI为底座，通过多方携手共筑大模型创新高地，“紫东.太初”庞大生态体系已见端倪。

以赛促学，搭建人才发展桥梁

人才作为人工智能产业发展的关键，只有鼓励人才用创新技术解决实际问题，方能持续不断创造出价值。“互联网+”大赛便搭建了这样的创新舞台，旨在鼓励全球开发者充分发挥想象力，引领行业创新。

自今年4月启动以来，“互联网+”大赛共吸引来自100多个国家和地区的1450多万人次报名，共有340多万个项目参赛。本届大赛产业命题赛道共有300支队伍进入全国总决赛，其中华为命题队伍24支。

对于国科大团队的同学们来说，参加“互联网+”大赛让他们拥有了崭新的体会。陈志扬同学在采访中谈到，他的研究方向是多模态视觉领域，平常研究是偏学术性的，而大赛给他一个走出去的机会，通过和下游产业的交流，深入洞察产业的多样性需求，从更广阔的视角来看企业的诉求，掌握行业的发展趋势。这让他不仅从以往熟悉的技术方向上做思考，还从商业价值、社会效益等多角度思考如何用多模态预训练技术来服务千行百业的需求。未来，他将在科研更有针对性和更具动力，为产业带来更有价值的科研和研究成果。

在和陈志扬同学交谈的过程中，他重复说了好几次的“走出去”，并侃侃而谈其中的收获与成长。从他身上，笔者看到新一代科技人才的重要培养途径便是走出研究室，走出校园，去现实世界中探索落地方案，直面产业真实痛点，思考解决方案，同时激发科研动力，创造更多价值，形成良好循环。

华为等企业通过“互联网+”大赛开放产业真实赛题，让众多像陈志扬同学一样的高校学生走出去，在产业环境中真题真做，提升高校学子的实践创新能力，汇聚众多有创新意识的人才。

据悉，华为与教育部推出“智能基座”项目，围绕昇腾AI、鲲鹏、欧拉等技术，致力在未来的五年时间内，与高校联合培育300万数字化计算人才。目前，“智能基座”项目已累计赋能5000多名教师，开设了1500多门课程，累计50万名学生参与学习和实践。此外，华为推出“众智计划”，计划投入3.6亿元人民币激励基金，进一步为开发者提供昇腾AI、鲲鹏实践平台。

人才作为技术创新、产业发展的源头活水，如今华为正通过各类创新大赛、活动、激励计划等多种形式，搭建人才发展桥梁，为产业发展输送源源不断的动力。

点击阅读原文，浏览昇腾社区更多资讯~