推荐系统一个吹NB的方法

Posted 2022-12-09 「已注销」

这几天大概一直在看推荐系统的东西，主要目的是为了写本子。有一个很幸运的事情是，有一名大佬已经把一些值得看的东西都拿了出来。这里就是RecSys必看论文。

当然，RecSys还是很有意思的。虽然我必须得抱怨一句，RecSys的好多conference不让下载，这也是挺奇葩的。不过整体来说，这里面还是很少的有很多有趣的网络设计的地方，而且还有很多的想法。

我发现几个有意思的趋势。

首先，大部分RecSys的网络设计其实是很有意思的。在这里面，阿里的论文似乎是最有意思的。比如说吧，这个图：

这点也没什么奇怪的，毕竟Attention从某种意义上来说，是一种Match Learning的手段。而从单纯embedding走到Attention Encoder也是必然趋势。

其次， 时间关系往往是一个可以很有趣的设计。比如说这张图：

 当然在这里，现在看起来设计一个GRU之类的网络可能是有点多余了。但是，其实这类RNN是有很多有意思的内容的。 比如说大家可以看一下Compositional Attention Networks for Machine Reasoning。

第三件事情，多半在这里我们会看到一部分所谓的多任务学习。这经常会在Embedding的Negative Sampling里面实现。但是除了这个以外，还有两个有意思的东西。首先关于Mixtures of 
Expert，大家可以看看Modeling task relationships in multi-task learning with multi-gate mixture-of-experts. 当然更有意思的是，Mastering Atari with Discrete World Models。这里面有一个很有意思的想法，大意是通过VAE进行Encoding Refinement。

文章比较复杂，建议大家去看细节。

顺便说个尾巴，在RS当中使用RL的文章其实不多，一种大概还靠谱的应用就是所谓的优化困难的指标。但是RL用起来问题还是很麻烦的。光算力就是个问题。