（2020.6.22）SIREN：用sin作为NN的激活函数

Posted 2020-12-12 sqlkrad

今天读到了一篇论文，感觉很厉害：2006.09661，这篇文章提出了用sine作为激活函数，可以让NN的拟合能力更强，而且具有一些额外的很厉害的性质。

尝试不同的激活函数其实很多人做过，估计使用sin也很多人尝试过，但是估计效果不好就放弃了，但是这里作者提出了只需要用特定的初始化方法，效果飞云之上。

这种方式得到的一个很厉害的性质就是SIREN的导数还是SIREN。所以就可以不用拟合数据本身，拟合数据的导数就能拟合数据。

这里其实让我联想到BERT里面的position embedding，就用到了sin函数，人生真是奇妙，难道BERT效果拔群，关键是采用了周期的位置向量？