OpenMMLab AI实战课笔记

Posted 2023-02-05 Arrow

1. 第一节课

1.1 计算机视觉任务

• 计算机视觉主要实现以下目标：
  • 分类
  • 目标检测
  • 分割：语义分割、实例分割 (对像素进行精确分类, 像素粒度或细粒度)
  • 关键点检测
    

1.2 OpenMMLab框架

• 框架选择：PyTorch
• OpenMMLab是基于PyTorch开发的code base, 方便训练自己的模型。把所有SOTA的论文都复现并与原论文实验结果一致。
• OopenMMLab总体架构
  
• 训练部署一体化：使用MMDeploy转化为各种硬件平台需要的模型格式
  
• OpenMMLab1.0：一个算法库，一套接口定义，接口复杂度高
• OpenMMLab2.0：N 个算法库，一套接口定义，接口简单
• OpenMMLab有3宝：
  • 基于PyTorch开发，让开发者可站在巨人的肩膀上，既可以调用预训练的模型，也可以训练模型来解决自己的问题
  • 它的模型库和数据集直接可以作为了解这个领域的学习路径
  • 它的算法包含了很多最前沿的顶会论文，保持技术的最前沿

1.3 机器学习

• 机器学习的用武之地就是一些难以通过简单算法解决的问题，主要包括以下三类：

  • 监督学习：数据之间存某种映射关系，如何基于有限的数据样本推断出这种映射关系？
  • 无监督学习：数据自身是否存在某种“结构”或“规律”？
  • 强化学习：如何和环境交互，以获得最大收益？

• 训练流程
  

• 问题

  • MMTracking可跟踪所有在操场上跑步的学生吗？
  • 引体向上的代码可参考吗？