图像分类目标检测语义/实例/全景分割超像素

Posted 2022-02-02 Arrow

图像分类、目标检测、语义/实例/全景分割、超像素

• 1. 图像分类（image classification）
• 2. 目标检测（object detection）
• 3. 图像分割（image segmentation）
• • 3.1 语义分割（semantic segmentation）
  • 3.2 实例分割（instance segmentation）
  • 3.3 全景分割（panoptic segmentation）
• 4. 超像素（superpixels）

1. 图像分类（image classification）

就是识别图像中有哪些内容，如有人、猫、车等（不需要知道每个内容位置和多少）

2. 目标检测（object detection）

识别图像中存在的内容，并检测出第个内容的位置

3. 图像分割（image segmentation）

根据某些规则将图片中的像素分成不同的部分、打上不同标签（即像素分类）

3.1 语义分割（semantic segmentation）

• 对图像中的每个像素打上类别标签，如下图，把图像分为人（红色）、树木（深绿）、草地（浅绿）、天空（蓝色）标签
• 只区分类别，不区分各个目标
  

3.2 实例分割（instance segmentation）

• 第一步：在图像中将目标检测出来（目标检测）
• 第二步：把目标的每个像素打上标签（语义分割）
• 关注每个目标实例。语义分割不区分属于相同类别的不同实例（所有人都标为红色），实例分割区分同类的不同实例（使用不同颜色区分不同的人）
  

3.3 全景分割（panoptic segmentation）

• 第一步：把所有目标都检测出来
• 第二步：区分出同个类别中的不同实例
• 实例分割只对图像中的目标（如上图中的人）进行检测和按像素分割，区分不同实例（使用不同颜色），而全景分割是对图中的所有物体包括背景都要进行检测和分割，区分不同实例（使用不同颜色）
  

4. 超像素（superpixels）

• 超像素最大的功能之一，便是作为图像处理其他算法的预处理，在不牺牲太大精确度的情况下 降维！
• 超像素最直观的解释，便是把一些具有相似特性的像素“聚合”起来，形成一个更具有代表性的大“元素”。
• 而这个新的元素，将作为其他图像处理算法的基本单位。一来大大降低了维度；二来可以剔除一些异常像素点。
• 至于根据什么特性把一个个像素点聚集起来，可以是颜色、纹理、类别等。