天元MegEngine训练推理

Posted 2021-06-14 吴建明

天元MegEngine训练推理

Brain⁺⁺ 新一代AI生产力平台

旷视Brain⁺⁺是由旷视研究院自主研发的新一代 AI 生产力平台，致力于帮助企业和开发者提升AI生产效率、规范生产流程。Brain⁺⁺的核心能力包括数据的处理、清洗和管理能力，算力的共享、调度和分布式能力，算法的训练、推理及部署能力，目前，旷视正通过逐步开源核心框架、开放算力和数据平台的形式，为企业客户和广大开发者提供规模化AI生产能力。

 

 

 核心模块

天元MegEngine

天元MegEngine诞生于2014年并于2020年3月开源，是Brain⁺⁺的最为核心组件，也是全新一代的工业级深度学习开源框架。天元MegEngine可帮助开发者用户借助友好的编程接口，进行大规模深度学习模型训练和部署。架构上天元MegEngine具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层，可极大简化算法开发流程，实现了模型训练速度和精度的无损迁移，支持动静态的混合编程和模型导入，内置高性能计算机视觉算子，尤其适用于大模型算法训练。

• 训练推理一体
• 动静合一
• 兼容并包
• 灵活高效

MegData

旷视MegData是旷视研究院原创自研的人工智能数据管理平台，全面覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度。以数据生产为起点，支持不同业务场景和训练方式对数据进行处理和标注。平台提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程，同时对多种非结构化数据提供在线标注能力，通过标准化标注流程实现对标注数据、标注任务、标注人员、标注进度、标注质量和标注工具的统一管理，为AI模型训练提供高质量训练数据。同时，MegData设计了多重的数据安全功能，以保障数据的安全和隐私。

• 高效
• 专业
• 安全
• 稳定

MegCompute

分布式深度学习平台MegCompute是旷视自主研发的大规模人工智能算力平台，提供E级算力资源调度、EB级海量数据存储管理、400G RDMA高速骨干网络。其中包含基础设施、数据存储、计算调度、上层服务等功能模块。通过分布式集群管理最大化提高资源利用率，算法生产全流程服务化使训练过程更加高效。

• 400G RDMA
• 异构资源池
• 灵活的任务调度
• 算法生成全流程

企业级解决方案

基于行业最佳实践的一站式AI生产全流程服务，实现技术到价值的链接，简化开发流程，降低开发成本。让企业更聚焦于业务变革，提高企业生产效率，加速企业智能化转型进程。

方案优势

一站式AI生产全流程

Brain⁺⁺平台提供的能力覆盖算法、算力、数据的全流程，满足各层次企业对AI能力建设的需求。从数据采集、清洗、标注和管理，到算法模型的开发、训练、评估和版本管理，以及模型的发布和部署，提供了完整的工具集。确保客户专注业务需求和创新，实现人工智能应用的快速落地。

开发简单高效

Brain⁺⁺平台包含了训练推理一体化的深度学习开源框架MegEngine，提供了训练推理一体的实现，有效提升深度学习模型生产工作效率。平台预置了目标检测、分类、分割等多种深度神经网络算法，提供了面向不同场景的预训练模型。帮助用户快速生产满足自身需求的模型。简化开发流程，降低开发成本，让企业更聚焦于业务变革。

灵活部署满足不同使用场景

为满足企业级客户的不同要求，提供灵活的私有化部署方式。实现快速部署和灵活的资源管理，根据业务需求，灵活的追加硬件资源，大规模集群也可以轻松部署。

数据安全保障

专业的数据加密技术，确保数据处理、标注和使用的每一个环节都是安全可控，有效保障客户的对数据安全和隐私的最高要求。提供了算法模型的加密技术，有效保障客户的知识产权。

企业级实践验证

Brain⁺⁺开放的AI能力均源于旷视多年的AI研发实践，稳定可靠。自2014年诞生至今，Brain⁺⁺平台支撑了旷视所有的算法项目，每一个旷视的算法研究员都是Brain⁺⁺的忠实用户。经过多年实践的打磨，不仅形成了完整的AI全流程平台，而且拥有了建设、运维超算中心的能力。通过Brain⁺⁺的开放，广大客户也可以拥有专属的Brain⁺⁺平台。

有多年的AI解决方案的实施经验，拥有了一批优秀的AI解决方案专家。针对客户的特定业务领域需求，结合行业人工智能最佳实践，可以为企业提供基于AI技术改进方案。

旷视提供的AI+咨询服务通过三阶段、六步骤实施，确保客户价值的实现。

• 三阶段：咨询规划、验证方案、商用实施
• 六步骤：调研、诊断、设计、验证、实施、推广

满足全场景AI业务需求