推荐系统遇上深度学习(九十八)-[微信]推荐系统中更好地学习用户-标签偏好

Posted cx2016

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了推荐系统遇上深度学习(九十八)-[微信]推荐系统中更好地学习用户-标签偏好相关的知识,希望对你有一定的参考价值。

 

推荐系统遇上深度学习(九十八)-[微信]推荐系统中更好地学习用户-标签偏好

2020.11.01 21:29:24

技术图片

本文介绍CIKM20上微信发表的一篇文章《Learning to Build User-tag Profile in Recommendation System》,主要介绍了微信看一看("Top Stories")中,如何进行用户对标签的兴趣建模,进而提升召回和推荐的效果。

文章下载地址为https://dl.acm.org/doi/pdf/10.1145/3340531.3412719

1、背景

本文主要围绕微信看一看("Top Stories")这一场景进行介绍。首先看一下看一看场景下,整个的推荐流程:

技术图片

可以看到,整个推荐系统架构主要包含四部分,新闻画像层(news profile layer),用户画像层(user profile layer),召回层(recall layer)和排序层(rank layer)。在新闻画像层,对新闻相关的特征如标签,类别等进行提取。在用户画像层,对用户的基本画像特征和行为特征进行建模。这里很重要的一块是对用户偏好标签的预测,这里将用户点击过的文章对应的标签集合作为候选集,基于后文将要介绍的模型对这些标签进行偏好预测,并用于后续阶段。随后是召回层,有多种召回方式,包括基于标签的召回、基于协同过滤的召回和基于模型的召回。最后是排序层,可以使用更为复杂的模型对召回层得到的结果进行精确的排序,最后展示给用户。

本文重点关注如何建模用户对于文章标签的偏好。本文提出了User Tag Profiling Model (UTPM),咱们在下一节进行介绍。

2UTPM模型介绍

UPTM的整体结构如下图所示:

技术图片

可以看到,一共分为5层,分别是feature input layer、attention fusion layer、cross feature layer、fully connect layer和predicting layer,接下来依次进行介绍。

2.1 feature input layer

对于输入特征,主要包含两大部分:用户画像信息和用户历史阅读信息。用户画像信息包括用户的年龄、性别等;用户历史阅读信息包括用户历史阅读过的新闻对应的标签集合、类别集合等(只是集合?所有的特征都是离散特征,每个特征对应一个单独的field。同时,部分是多值离散特征,如点击过的标签集合和类别集合。离散特征首先会通过embedding层转换成相同长度的embedding向量。

2.2 attention fusion layer

在这一层,首先会对多值离散特征进行处理,最简单的方法是avg/max-pooling的方式,但这种方式没有考虑到不同取值的重要性,因此本文采用的是multi-head attention的方式(这里不是multi-head self-attention),通过两个可学习的query向量q1q2,分别计算域内(和域间?)取值的权重,并进行加权求和,得到两个向量输出。以q1为例,计算过程如下:

技术图片

技术图片

技术图片

这里注意的一点是,所有的域共用query向量q1q2,但参数矩阵W则是每个域独有的参数

这样每个域的输出都确定了,对于单值离散特征,直接通过embedding层得到对应的embedding,对于多值离散特征,则通过attention方式得到两个向量输出。接下来,对于不同域的输出,以同样的multi-head attention的方式进行加权得到两个向量输出。同样,无论是域内还是域间,都共用query向量q1和q2。实验也证明这种共享的方式相对于不共享的方式,带来了更好的实验效果

这里,attention fusion layer的最终输出计作x

2.3 cross feature layer

cross feature layer主要进行特征交互。这里对x的不同维度之间进行特征交叉。这里对x里面的每一维xi,都对应一个隐向量vi,那么xi和xj的交叉结果ci,j计算如下:

所有维度交叉的结果进行拼接,得到输出c,假设x的长度为E,则向量c的长度是E(E-1)/2

技术图片

2.4 fully connect layer

这里,将attention fusion layer的输出x和cross feature layer的输出c进行拼接,经过两层全连接网络得到最终的用户向量u

2.5 predicting layer

这里的关键是,label如何定义?一种做法是把所有用户点击过的新闻中的标签集合作为正样本,把曝光未点击的标签集合作为负样本。但用户点击某个新闻,并不一定是对这篇新闻所有对应的标签都感兴趣,有可能仅仅对其中部分的标签感兴趣。因此论文没有采用上述的方式。而是将新闻是否点击作为label,预测值的计算过程如下:首先,对于某篇新闻,其对应的所有标签都会转换成与用户向量u相同长度的向量,随后用户向量u与所有的标签向量进行内积计算并求和,再通过sigmoid得到预测值:

最终的损失为logloss:

技术图片

当然,实验结果上也证明这种学习方式,能够取得更好的实验效果。

3、实验结果

最后简单看下模型实验部分,不用多说,肯定是比众多的基线模型好:

技术图片

好了,本文就介绍到这里,感兴趣的小伙伴可以下载原文进行阅读。

以上是关于推荐系统遇上深度学习(九十八)-[微信]推荐系统中更好地学习用户-标签偏好的主要内容,如果未能解决你的问题,请参考以下文章

推荐系统遇上深度学习--GBDT+LR融合方案实战

推荐系统遇上深度学习

当推荐系统遇上深度学习

推荐系统工程师必看!Embedding技术在深度学习CTR模型中的应用

YouTube深度学习推荐系统的十大工程问题

Keras深度学习实战——推荐系统数据编码