多目标多摄像机跟踪

Posted 2022-03-09 Arrow

多目标多摄像机跟踪

• 1. 简介
• • 1.1 MTMCT匹配方法
  • 1.2 MTMCT数据集
  • 1.3 基本变换
• 2. 单应性矩阵（Homography Matrix）
• • 2.1 基本概念
  • 2.2 应用实例
  • • 2.2.1图像拼接
    • 2.2.2 图像校正
    • 2.2.3 视角变换
    • 2.2.4 增强现实（AR）
  • 2.3 估计单应矩阵
  • • 2.3.1 四点对法
    • 2.3.2 HomographyNet（深度学习end2end估计单应性变换矩阵）

1. 简介

• MTMCT：Multi-Target Multi-Camera Tracking (摄像头多目标跟踪)

1.1 MTMCT匹配方法

• 轨迹到轨迹（Tracklet-to-Tracklet）匹配
  • 第一步：局部轨迹生成阶段，该阶段在单个摄像头内跟踪每个检测到的目标，并为其生成局部轨迹
  • 第二步：跨摄像头轨迹匹配阶段，该阶段在所有摄像头中匹配局部轨迹来为整个跨摄像头网络中的每个目标生成其完整的轨迹，即使用轨迹到轨迹（Tracklet-to-Tracklet）匹配
• 局部轨迹与目标间的匹配（Tracklet-to-Target )
  
  • 框架的输入是来自M个摄像头的M个视频剪辑
    • (a)：局部轨迹生成模块
    • (b)：轨迹相似度测量模块
    • ©：跨摄像头轨迹匹配模块
    • (d)：全局轨迹生成模块

1.2 MTMCT数据集

• 具有重叠FOV的相机拍摄：PETS09S2L1，CAMPUS，EPFL
• 不具有重叠FOV的相机拍摄：MCT

1.3 基本变换

• 刚体变换：平移+旋转，只改变物体位置，不改变物体形状。旋转矩阵是正交矩阵（$R{R}^T=R^{T}R=I$）
• 仿射变换：改变物体位置和形状，但是保持“平直性”（原来平行的边依然平行）” ($A_{2\times 2}$可以是任意2x2矩阵，与R一定是正交矩阵不同)
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}_{2\times 2}& T_{2\times 1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
• 投影变换（单应性变换） ：彻底改变物体位置和形状
  $$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cc}{A}_{2\times 2}& T_{2\times 1}\\ V^T& s\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H_{3\times 3}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
  $$H_{3\times 3}=\left[\begin{array}{cc}{A}_{2\times 2}& T_{2\times 1}\\ V^T& s\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& t_x\\ a_{21}& a_{22}& t_y\\ v_1& v_2& s\end{array}\right]$$
• $A_{2\times 2}$：代表仿射变换参数
• $T_{2\times 1}$：代表平移变换参数
• $V^T=[v_1,v_2]$：表示一种“变换后边缘交点“关系
• $s$：表示一个与$V^T$相关的缩放因子
  

2. 单应性矩阵（Homography Matrix）

2.1 基本概念

• Homography：“Homo”前缀就是same的意思，表示“同”，homography就是用同一个源产生的graphy，中文译过来大概就是“单应”。即用 [无镜头畸变] 的相机从不同位置拍摄 [同一平面物体] 的图像之间存在单应性，可以用 [投影变换] 表示
  
  $$\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=H_{3\times 3}以上是关于多目标多摄像机跟踪的主要内容，如果未能解决你的问题，请参考以下文章$$

  [AI开发]基于深度学习的视频多目标跟踪实现

  跟踪运动目标

  多目标卡尔曼滤波器：识别问题

  论文解读SortDeep-Sort多目标跟踪算法

  论文解读SortDeep-Sort多目标跟踪算法

  opencv 目标跟踪一定要把被跟踪的物体圈出来吗？