几篇很神奇的文章

Posted 2021-10-28 雷姆是我的

Ffjord虽然是很老的一篇文章，但是这个想法真的很惊艳。这里面最惊艳的大概就是把Normalizing Flow做成了连续形式，然后根据一个ODE的解法来进行。对于数学基础好的同学，这里面最重要的可以学习的是关于处理复杂度的处理，和Performer能学到的东西很类似。

BYOL是一个非常有意思的文章。在我印象中，例如基本依赖于负样本，类似于Triplet Mining。在相当的时间里面，我一直认为Constrast Learning的主要目的还是引入负样本。但是这篇文章告诉你，其实引入负样本反倒是不靠谱的。

Consistency Regularization for Variational Auto-Encoders和DIVA: Domain Invariant Variational Autoencoders是两个相对来说比较新，但是看起来很好用的文章。当然具体有没有效果，对于VAE之类的文章肯定是要尝试的。但是这两篇文章很重要的一点是教会了我们如何灵活的应用ELBO。

最后，Planning to Explore via Self-Supervised World Models是一篇可以很好的和DreamerV2结合的文章。这里面核心思想就是通过模拟来计算Surprise，并应用于探索。