KaimingInit论文的译读笔记

Posted 2022-01-15 songyuc

摘要

Rectified activation units (rectifiers)（即：整流激活单元，一般就是ReLU函数，因为在本文中Kaiming还提出了PReLU，所以他这里用的是“rectified activation unit”这个术语）在SOTA的神经网络中至关重要。在本文中，作者从两方面探究了针对图像分类的整流器神经网络。首先，本文提出PReLU，作为传统整流单元的推广形式。其次，作者推导出一种更加鲁棒的初始化方法，尤其是考虑到整流器的非线性。这项方法能够从头开始训练非常深的rectified（整流）模型，并研究更深或更广的网络架构。基于提出的PReLU的网络，本文在ImageNet2012分类数据集上实现了4.94%的top-5测试误差率。