5AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactio

Posted lee-yl

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了5AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactio相关的知识,希望对你有一定的参考价值。

 

1、摘要:

提出一个Attentional FM,Attention模型+因子分解机,其通过Attention学习到特征交叉的权重。因为很显然不是所有的二阶特征交互的重要性都是一样的,如何通过机器自动的从中学习到这些重要性是这篇论文解决的最重要的问题,

比如:作者举了一个例子,在句子"US continues taking a leading role on foreign payment transparency"中,除了"foreign payment transparency",其它句子明显与财经新闻无关,它们之间的交叉作用可认为对主题预测是一种噪音。

2、FM

技术分享图片

3、注意力机制

AFM模型架构:

技术分享图片

技术分享图片

 

技术分享图片

技术分享图片

 

以上是关于5AFM(Attention+FM)-----Attentional Factorization Machines:Learning the Weight of Feature Interactio的主要内容,如果未能解决你的问题,请参考以下文章

关于注意力机制(《Attention is all you need》)

attention啥意思

GSM之AT操作命令详解20160615

AT命令与ppp协议

ESP8266ESP8266通讯使用的AT指令

ESP8266通过AT指令连接TCP网络