比MAE更强，FAIR新方法MaskFeat用HOG刷新多个SOTA

Posted 2022-06-23 Charmve

点击上方“迈微AI研习社”，选择“星标★”公众号

重磅干货，第一时间送达

mask-and-predict 的方法可能会成为计算机视觉领域的新流派。

自监督预训练在自然语言处理方面取得了惊人的成功，其基本思路中包含着掩码预测任务。前段时间，何恺明一作的论文《Masked Autoencoders Are Scalable Vision Learners》提出了一种简单实用的自监督学习方案 MAE，将 NLP 领域的掩码预测（mask-and-predict）方法用在了视觉问题上。现在来自 Facebook AI 研究院（FAIR）的研究团队又提出了一种自监督视觉预训练新方法 MaskFeat。

论文地址：https://arxiv.org/pdf/2112.09133.pdf

MaskFeat 首先随机掩码一部分输入序列，然后预测被掩码区域的特征。通过研究 5 种不同类型的特征，研究者发现方向梯度直方图 (HOG) 是一种很好的特征描述方法，在性能和效率方面都表现优异。并且研究者还观察到 HOG 中的局部对比归一化对于