国科大人工智能学院《计算机视觉》课 —运动视觉—运动检测

Posted 2021-08-29 鱼米粒

零、运动分析：视频图像分析

---

一、运动检测的概念

运动检测定义：将运动前景从图像序列中提取出来，即 将背景与运行前景 区分开。

运动检测的意义：是目标跟踪、运动表述和行为理解等后续处理的基础。

运动检测的难点：

运动检测的两种常见思路：

• 直接利用前景所特有的信息检测前景：适用于前景特征变化不大的场景
• 先得到背景图像，然后将输入图像减去背景图像从而得到前景图像：适用于背景相对固定，而前景变化较大的场景

二、常规的运动检测方法

1. 背景差法

原理：计算当前图像与背景图像的逐像素的灰度差，再通过设置阈值来确定运动前景区域。

大于阈值，则为前景

已知背景的情况，要用若干背景图像的均值图像作为背景。

• 均值图像：将若干背景图像求逐点的灰度均值
• 这样做的原因是：光照会有细微变化、相机内部有噪声
• 均值图像 对应 单高斯模型

单高斯模型：对于每一个像素，用一个高斯分布来描述其在不同时刻的灰度分布情况的背景模型

• 使用高斯分布来描述背景的假设：背景在图像序列中总是最经常被观测到
• 使用单高斯模型的不足：动态背景，单高斯不能描述

混合高斯模型：采用混合高斯分布来描述每个像素在不同时刻的灰度分布情况

2. 光流

光流场 近似等于 运动场

光流一致性假设：
光流约束方程：

孔径问题：
所以要为每个像素建立更多的方程，即 一个约束不够。

光流法 的优缺点：

3. 帧间差分：双帧差分、三帧差分

帧间差分 的优缺点：

三、目标检测

目标检测：自动确定目标在图像中的位置和类别

四、常规的目标检测方法：AdaBoost（Adaptive boosting）

两个权重：样本、弱分类器

五、基于DNN的目标检测方法：RCNN系列、YOLO系列

1. RCNN

RCNN：Regions with CNN features

2. YOLO