embedding在工业界应用以及训练的tricks

Posted 2023-04-24

参考技术A embedding在工业界是非常常用的手段。例如双塔模型学习用户与内容的隐式向量表达，其产出可以用于召回，粗排，精排模型等多个阶段。

以下为一些使用的细节：
1、大规模粗排用离线计算的embedding加速，可以扩大粗排规模
2、利用预训练的embedding为模型提供更好的用户表达（一些模型对于某目标的预测不会使用用户的全量行为特征，所以能获取其在全量行为下计算的embedding作为初始化便能提升效果） 这与CV和NLP领域的pre training + fine turning是一样的方法
3、对于很多离散值，使用embedding输入dnn更有利于学习
4、对于一些连续值，也使其离散化后再用emb输入dnn
5、一些长尾用户的embedding更新几率很小，会导致其学习不充分。利用用户一些特征的刻画做用户分桶或聚类可以提升其学习效率（airbnb kdd1028）
6、对embedding层做专门的loss函数（multi-task），只更新其对应参数梯度，能加快其收敛。
7、也可以对一些过于低频的特征值做过滤，能减少参数空间，同样能提升其emb的收敛速度，避免过拟合
8、可以利用embedding做特征扩展。 通过embedding做特征“扩展”
9、建立单独的网络，仅对embedding层进行训练（参见狼厂的abacus）

推荐系统算法工程师培养计划

推荐系统、计算广告等领域的飞速发展，大力加速推动了AI在互联网以及传统各个行业的商业化落地。高薪资及良好的发展前景吸引了越来越多人学习推荐系统。

很多欲从事推荐系统的同学大多数是自学，但是这里存在几个问题：

• 了解些推荐里常用的算法，但是却不清楚这些模型在工业界推荐系统中是如何串联、如何配合、有哪些坑，哪些trick的，欠缺实践落地能力。

• 对于算法原理理解不深刻，这就会导致实际应用时不能很好地将模型的性能发挥出来，另外面试时对于大厂面试官的刨根问底，只能是眼睁睁的丢掉offer。

基于上述的情况，贪心学院推出了推荐系统算法工程师培养计划，跑在技术的最前线，帮助大家不断地成长。

项目介绍和课程大纲

核心知识点和适合人群

《推荐算法工程师培养计划》

专注于培养行业TOP10%的推荐算法工程师

对课程有意向的同学

添加课程顾问小姐姐微信

报名、课程咨询