基于Yolov4的人群检测，人群距离估计基于SORT的多目标跟踪及逆透视映射一体的系统Yolov4_DeepSocial

Posted 2021-09-05 点亮～黑夜

由于疫情的原因，全球大多数政府和国家卫生当局已将2米的身体距离作为购物中心、学校和其他覆盖地区的强制性安全措施。在本研究中，开发了一个通用的基于深度神经网络的模型，用于自动人群检测、跟踪和人群间距离估计，使用常见的闭路电视安全摄像机。提出的模型包括一个基于yolov4的框架和反透视映射，用于在具有挑战性的条件下(包括人群遮挡、部分能见度和照明变化)进行准确的人检测和社交距离监测。我们还提供了一个在线风险评估方案，通过统计分析来自移动轨迹和违反社交距离率的时空数据。我们确定病毒传播和感染可能性最高的高危地区。这可能有助于当局重新设计公共场所的布局，或采取预防措施，以减轻高风险区域。提出的方法的效率在牛津镇中心数据集上进行了评估，与三种最先进的方法相比，该方法在准确性和速度方面具有更高的性能。

一、demo效果展示

demo视频

• 论文：https://www.mdpi.com/2076-3417/10/21/7514
• 代码：https://github.com/shliang0603/Yolov4_DeepSocial

二、论文内容介绍

本文的主要贡献：

• 该研究旨在通过自动监测和检测个人之间的社交距离违反行为的人工智能解决方案，为减少新冠病毒的传播和经济成本提供支持。

• 我们开发了最精确(如果不是最精确)的深度神经网络(DNN)模型之一，用于人类检测、跟踪和距离估计，称为DeepSOCIAL。

• 我们通过对现场人员移动的时空数据进行分析，进行实时和动态的风险评估。

• 开发的模型是通用的人体检测和跟踪器，不局限于社交距离监测，可以应用于各种现实世界的应用，如自动驾驶汽车中的行人检测、人体动作识别、异常检测和安全系统。

涉及到的技术：

1、行人检测

目标是开发一个模型来检测人类(人)的各种挑战，如服装的变化，姿势，远近距离，有/没有遮挡，以及在不同的光照条件下。（这里选用了 YOLOv4）

2、行人跟踪

检测阶段之后的下一步是对每个人进行跟踪和ID分配。

这里使用了Simple Online and Real-time（SORT） 算法进行跟踪（卡尔曼滤波（Kalman Filter）和匈牙利算法(Hungarian algorithm)结合到一起）

详细的可以参考：https://zhuanlan.zhihu.com/p/59148865（多目标跟踪：SORT和Deep SORT）

3、 距离估计

这里使用单目视觉的解决方案，使用单个摄像机，将三维世界场景投影到二维透视图像平面，导致物体之间的像素距离不切实际。这被称为透视效应，在这种效应中，我们不能感知到距离在整个图像中的均匀分布。

在三维空间中，每个框的中心或参考点与三个参数 (x,y,z)相关联，而在从相机接收到的图像中，原来的三维空间被缩减为二维(x,y)，深度参数(z)不可用。在这样一个低维空间中，直接使用欧几里得距离准则来测量人与人之间的距离估计是错误的

为了应用校准的IPM过渡，我们首先需要通过设置深度参数 z = 0来消除透视效果进行摄像机校准。我们还需要知道相机的位置，高度，视觉等

具体计算过程如下：

整体的流程：

最后，ICCV 2021 论文和代码正在爆肝整理中！

https://github.com/DWCTOD/ICCV2021-Papers-with-Code-Demo