RecSys继续看热闹

Posted 2022-12-05 「已注销」

说句实话，RecSys还真是一个挺有意思的领域。大部分paper的话非常容易去读，因为大部分思是通用的；另外结构化数据集这个也是比较有挑战的。此外，我发现很多人在发paper的时候都会借助于其他领域的思想。当然，这是不是纯粹为了创新而创新咱不说，但是确实很让我开阔眼界。

Self-supervised Graph Learning for Recommendation这篇是我觉得最有意思的。个人感觉大体来说，思路是用Random Dropout模仿NLP的Mask；紧接着用Contrast Learning去学。这个可以作为MultiTask的一部分。效果好不好不知道，但是至少可以作为一个MultiTask。

关于序列的问题，发现一个所谓的用BiDirectionBERT做序列的。这个方法的话，不知道设计起来是否会比，比如说各种乱七八糟RNN要好。当然，这玩意长度肯定是个问题，但是是不是可以用Performer呢？这个已经实现出来了，见 这个Github。

关于冷启动，我听说业界最简单的方法就是用各种聚类来弄。但是让我没想到的是，居然还真有人用了MetaLearning。做法上基本上是MAML为基础。既然提到MAML了，那就必须得提Meta Pseudo Label和DARTS（以及DARTS的姐妹篇Searching for A Robust Neural Architecture in Four GPU Hours）。个人感觉MAML可能是真正意义上最有用的MetaLearningMethods。顺便说一句，如果说是Meta Reinforcement Learning，那么大概都是用Model Based Methods。正好这个跟当初那个DreamerV2是统一的。

下一篇就有点有意思了，关于有效的RS，一般做法都是人工规则。我个人感觉业界当中应该也是最好使的。但是偏偏有一个用Continuous Relaxation做的。

既然提到AutoML，还真有人把AutoML放到RS里面。AutoCTR和AMER​​​​​​看起来挺酷炫，所谓自动找交叉效应啥的，但是说句实话，我并没太看懂他的交叉效应到底是故事还是真很重要。个人感觉就交叉效应这个还不如直接用Attention相关的东西。

我大概就看了两天RS的文章。说句实话，感觉要做RS的话，论文和业界经验还是差很多。当然能做的很多，综合方法有很多。我感兴趣的是

1. RL的应用。我知道现在用不了，但是说不定呢。
2. Performer和其他的训练方法的组合。本质上来说，这件事情是Deep Learning for Tabular。
3. Multitask Learning，尤其是Representation Learning的引用。
4. MAML和AutoML。

其他暂时想不起来了，反正这个吹牛够了～