SIGIR2018 Paper Abstract Reading Notes

Posted 2021-01-19 shuzirank

1.A Click Sequence Model for Web Search（日志分析）

更好的理解用户行为对于推动信息检索系统来说是非常重要的。已有的研究工作仅仅关注于建模和预测一次交互行为，例如点击行为。本文首次关注建模和预测交互事件序列。具体来讲就是点击序列（Sequences of clicks）。我们对点击序列预测的问题形式化，并提出了Click Sequence Model (CSM)来预测用户与搜索引擎返回结果的交互顺序。基于神经网络，CSM本质上是一个编码-解码的架构。Encoder计算返回结果的嵌入；Decoder预测点击结果的位置顺序；Attention机制用来抽取每个时间步与结果相关的必要信息。参数的学习是通过最大化观测到的点击序列的似然函数得到。我们通过三个新任务来验证CSM的有效性：(i)预测点击序列；(ii)预测点击次数；(iii)预测用户是否会以搜索引擎结果页面（Search Engine Result Page,SERP）所呈现的返回结果的顺序来与之交互。除此之外，我们还验证了CSM在传统的点击预测任务（预测一个无序的点击数据的集合）中的性能，达到了与state-of-the-art方法相媲美的结果。

p.s.:没太关注这个问题，选到这篇paper仅仅因为它是sequence

2. Dynamic Shard Cutoff Prediction for Selective Search (Prediction)

选择性搜索（Selective Search）采用资源选择算法，如Rank-S或Taily算法来排序，进一步决定对于给定的查询需要搜索多少片段。以前的大多数工作主要评价这些解决方案的改善对效率的改善能力，而忽略精确度的降低（reducing early-precision metrics such as [email protected] and [email protected]）。本文试图将选择性搜索（Selective Search）归结为早期的多步检索框架，这种框架对于面向召回率的评价更为合适。本文提出了一个新的算法来预测为了达到召回率的目标需要检索的片段的数目。将片段排序与决定检索的片段数目解耦和便于澄清效率与性能之间的折中，使得它们能独立被优化。两个语料库上的实验结果体现了该方法的价值。

p.s.：冲着selective search与Jamie Callan去的

3. Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks (Prediction)

多元时间序列预测（Multivariate Time Series Forcasting）是在很多领域都是一个非常重要的机器学习的问题，例如太阳能能力输出，电量消费，以及交通拥堵状况等。在这些实际应用场景中出现的时序数据涉及到长期与短期模式的混合，所以传统的方法例如自回归模型以及高斯过程都失效。为了解决这个挑战，本文提出了一个新颖的深度学习框架，称为长短期时间序列网络（Long- and Short-term Time Series Network， LSTNet）。LSTNet使用卷积神经网络(CNN)以及循环神经网络(RNN)来抽取变量间的短期（short-term）局部依赖模式，发现时间序列的长期依赖模式。更进一步，我们使用传统的自回归模型来解决神经网络模型的量级不敏感的问题（scale insensitive problem）。在真实数据（重复模式的复杂组合）上进行评价，LSTNet显著优于state-of-the-art的baseline方法。所有的数据及实验代码可供在线下载。

p.s.:如何理解long-term以及short-term需要进一步阅读。

4. Learning a Deep Listwise Context Model for Ranking Refinement (Learning to Rank I)

排序学习（Learning to Rank）已经被大量研究以及广泛应用到信息检索（Information Retrieval）中。一般来讲，从标注数据集合中学到的是一个全局的排序函数（a global ranking function），这种全局排序函数可以取得平均意义下的好的性能，但对于每个查询得到的性能可能并非最优的。造成这种现象的原因在于不同查询的相关文档可能在特征空间具有不同的分布。受伪相关反馈的启发，我们提出了使用排在前面的检索结果的内在特征分布来学习一个深度列表式背景模型（Deep Listwise Context Model），这样有助于对初始的排序列表进行微调。所谓伪相关反馈是指排在前面的那些文档（又称为局部排序背景（local ranking context））能够提供关于具体某个查询的特点的非常重要的信息。具体来讲，我们使用循环神经网络（Recurrent Neural Network）来对排序靠前的结果的特征向量依次编码，学到一个局部的背景模型（local context model），使用它对排序靠前的结果进行重排。该模型的贡献主要在于以下三点：（1) 基于排序靠前的结果间的复杂的交互模式，使用深度神经网络捕捉到局部排序背景（local ranking context）。（2）该模型直接使用抽取的特征向量来采用排序学习得到模型。（3) 模型采用基于注意力机制的损失函数（Attention-Based loss function）来训练，这种损失函数比已有的列表式方法的损失函数更高效。实验在标准的检索语料库上进行，结果表明该模型显著由于state-of-the-art排序学习模型（LambdaMART,RankSVM,SoftRank, ListMLE）。

p.s.:。。。

5. Efficient Exploration of Gradient Space for Online Learning to Rank (Learning to Rank I)

在线排序学习（Online Learning to Rank）根据从用户那直接收集的隐式反馈来优化返回检索结果的效用函数。在线排序学习为了改善当前的估计结果，通常检查一个或多个探索的梯度方向，若通过交叉测试发现新的方向用户更喜欢则更新当前的排序模型。本文通过高效的探索梯度空间来加速在线学习的过程。本文提出的Null Space Gradient Descent将探索的空间缩减到最近性能不佳的梯度的零空间(the null space of recent poorly performing gradients)。这样做可以防止算法不断搜索那些已经不被看好的梯度方向。为了改善交叉测试的结果的敏感度，本文选择性的构建候选排序模型来最大化当前查询中候选排序文档的可微的可能性。当对比的排序模型发生不分胜负的情况时，本文使用以前比较困难的查询来识别最优的排序模型。通过在公开标准数据集上的与state-of-the-art的在线排序学习算法证明了本文提出的方法在快速收敛和排序结果质量方面的有效性。

p.s.:冲着LTR去的，对online不在现阶段的考虑范围

6. Selective Gradient Boosting for Effective Learning to Rank (Learning to Rank I)

从大量的查询-文档实例中学习到一个高效的排序函数是一个具有挑战性的任务。为了建模搜索引擎系统中真实场景（一个查询通常需要检索大量的待匹配文档，但真正相关的是少数），通常需要构建包含查询及其少数相关文档与大量不相关文档的训练集。本文提出的Selective Gradient Boosting (SelGB)算法解决了排序学习任务中将关注点放在很大可能误排序的不相关文档上的问题，因为这成为学到的排序模型质量改善的障碍。SelGB算法采用一个新的技术来最小化误排序的风险，也就是说两个随机采样的文档被误排序的概率，在一个梯度提升的过程中迭代的产生加性决策树集合（Iteratively generate an additive ensemble of decision trees）。SelGB选择性的使用训练实例，使用少量的阜阳里来增强模型的区分能力。本文在公开的数据集上进行了大量可复现的实验，结果表明SelGB利用选择好的多种多样的负样例来训练树模型的集合，这样得到的模型性能优于state-of-the-art的算法的性能，在[email protected]指标上性能提升3.2%。

p.s.:依旧learning to rank

7. Target Apps Selection: Towards a Unified Search Framework for Mobile Devices (App Search & Recommendation)

随着对话系统与智能助理的飞速发展，如Apple Siri以及Google Assistant，移动设备在日常生活中越来越普及。因此，用户频繁的与app的交互以及在app内搜索需要的信息。然而，用户并不能通过智能助理搜索app内部的信息。这需要一个统一的移动搜索框架（unified mobile search framework）来识别用户提交查询的目标app（step1），并将该查询提交给该app（step2），将搜索结果展示给用户（step3）。本文首先尝试开发统一的移动搜索框架的第一步。具体来讲，本文引入并研究了目标app选择（target apps selection）任务，这个任务在现实世界中有很多应用场景。为此本文分析查询及用户在不同app中检索行为的属性。本文对从众包平台获取的上千个查询进行分析。最后，本文研究了state-of-the-art的检索模型应用到这个任务上的性能，并提出了两个简单有效的神经网络模型来显著改善了baseline方法。本文的神经网络方法主要用于学习移动app的高维表示。本文的分析及实验都表明了这个领域的未来的发展方向。

p.s.:冲着app和search

8. Conversational Recommender System (Conversational Systems)

个性化的对话销售代理可能具有非常大的商业潜能。电商公司如Amazon，eBay，JD，Alibaba等都在展开这类的与用户交流的代理的研究。然而，关于这个话题的研究工作非常有限，已有的解决方案要么是基于单轮的自组织搜索引擎（single round adhoc search engine），要么是传统的多轮对话系统（multi round dialog system）。他们通常仅使用用户在当前会话（session）的输入，忽略用户长期的偏好（users‘ long term preferences）。从另一方面讲，众所周知的销售转换率（sales convesion rate）借助推荐系统有了很大的提升，这里的推荐系统就是从过去的购买行为中学习到用户的偏好，进而使得一些商业指标最优化，如转换率（conversion rate）或期望受益（expected revenue）。本文提出将对话系统（dialog systems）与推荐系统（recommender systems）融合成一个新型的统一的深度增强学习框架，进而构建一个个性化的对话推荐代理（conversational recommendation agent），以期优化每个session的效用函数。

具体来讲，本文提出将用户的对话历史表示为一个半结构化的分面-值对的形式的查询（a semi-structured query with facet-value pairs）。信念追踪器（Belief tracker）分析用户在每步的自然语言陈述，生成这样的半结构化的用户查询。本文提出了一个适用于推荐代理的机器行为的操作集，训练这样的一个深度策略网络（deep policy network）来决定代理应该在每步采取哪个行动（询问分面的值或推荐）。当预测评分和做推荐的时候，本文使用用户以往的打分数据以及当前session中收集的用户查询来训练个性化的推荐模型。这样的对话系统经常通过提问来收集用户偏好。一旦收集到了足够的用户偏好，就可以为用户做个性化推荐。为了展示所提框架的性能，既做了仿真实验，又做了真实在线用户调研。

9. Chat More: Deepening and Widening the Chatting Topic via A Deep Model (Conversational Systems)

过去的十年里，人机交互，特别是通过对话系统，获得了蓬勃的发展。本文研究开放领域中多轮对话系统的回复生成任务（response generation task in open-domain multi-turn dialog systems）。许多研究工作将精力放在构建智能对话系统，鲜有关注一个对话session中如何拓宽或加深对话的话题，这样可以吸引用户聊更多。为此，本文提出一种新颖的深度模式，包含三种方式：global,wide and deep。Global方式编码了给定场景下的完整的历史信息；wide方式采用基于注意力机制的RNN来预测不太可能出现在历史背景中的关键词；deep方式训练一个多层感知机来为深度讨论选择关键词。之后，本文提的模式是将三种方式的输出融合起来，产生想要的回复。为了验证该模型，本文进行了详尽的实验来与state-of-the-art的方法在两个数据集上进行对比：自建数据集和公开标准数据集。结果表明本文提出的方法通过加深拓宽兴趣话题来取得满意的性能。