《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》算法详解

Posted Michaelliu_dev

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》算法详解相关的知识,希望对你有一定的参考价值。

一、核心创新

  • 提出将3D卷积进行时间和空间的拆分来代替一个3D卷积
  • 提出了几种变形的残差块
  • 提出了P3D(Presudo-3D) ResNet

二、P3D Blocks和P3D ResNet

2.1 3D卷积解耦

3D卷积是同时提取空间信息和时间信息。拿核大小为3 x 3 x 3大小的3D卷积核来说,可以将其自然的解耦为一个1 x 3 x 3大小的卷积核和一个3 x 1 x 1大小的卷积核的组合。解耦的3D卷积称为伪(Pseudo)3D卷积。

2.2 Pseudo-3D Blocks

思想是将3D CNN按照2.1里面的解耦思想改造成P3D CNN,但是需要考虑两点:

  • 时间维度和空间维度的计算是否需要直接或者间接的互相关联
  • 两种维度的计算是否需要直接与输出关联

基于这两点考虑设计出下面三种P3D CNN:

又基于上面的三种链接的CNN和原始ResNet Block,提出下列三种P3D Block:

2.3 Pseudo-3D ResNet

为了检验那种P3D Block效果好,进行如下实验:

  • 对于原始的ResNet,使用UCF101视帧进行finetune,输入图片从resized为240 x 320的视频帧中随机截取240 x 240,固定除去第一层BN后的所有BN参数,并且最后加入了droprate为0.9的dropout操作
  • 对于原始的ResNet,测试时对每一帧进行预测,然后算平均值
  • 其它的三类P3D ResNet参数初始化使用上一步训练好的参数
  • P3D ResNet的输入为16 x 160 x 160,来源于从视频中截取不重叠的视频段16 x 182 x 242中随机截取
  • 输入片段随机水平翻转
  • batch为128
  • SGD,lr初始为0.001,每迭代3k除以10,迭代7.5k
  • 其它的三类P3D ResNet测试结果计算方法没提

为了使得P3D Block在网络中多样,文章简单的按照P3D-A→P3D-B→P3D-C顺序进行block替换这种网络就称为P3D ResNet,实验结果在上面表中也有显示。

其他具体的参数和实验结果详情可以看原文和代码。

视频算法QQ交流群:657626967

以上是关于《Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks》算法详解的主要内容,如果未能解决你的问题,请参考以下文章

交通预测论文笔记:Spatio-Temporal Graph Convolutional Networks: A Deep Learning Frameworkfor Traffic Forecast

论文笔记:STMARL: A Spatio-Temporal Multi-AgentReinforcement Learning Approach for Cooperative Traffic

论文笔记:Autoregressive Tensor Factorizationfor Spatio-temporal Predictions

论文阅读 (75):Video Anomaly Detection with Spatio-temporal Dissociation (2022)

论文阅读 Skeleton-based abnormal gait recognition with spatio-temporal attention enhanced

论文阅读 Skeleton-based abnormal gait recognition with spatio-temporal attention enhanced