论文速读自动解题+认知推理+常识发现

Posted 2021-07-29 囚生CY

序言

赶忙，不能写得很详细，所以把两篇类似的合并发在一篇paper里了，第一篇难度较低，是基于模板的做法，但是其中的概率模型方法值得借鉴，第二篇难度很大，想要彻底搞明白需要时间。第三篇很快的过了一遍，是讲常识知识推理的，感觉有点像知识图谱里的关系预测，考虑到它在baseline上的提升不是太多，没有特别仔细地看，方法可能是前人用过的，不过看起来还是比较新颖的。

之所以突然又开始看这块，那肯定是被wyl给恶心了呗。

注意第一篇的项目代码是Java。

好家伙，雨停了，去跑步。

——吐了，刚做完拉伸就开始下大雨，硬着头皮跑了10圈，17’41"，差强人意，五月份截至17日一共跑了四次长距离，不知道月底前能不能再跑一次长距离了，反正这一周多以来都没有起到能跑长距离的状态，诸多因素。

PS：
我发现那个大佬WXY（keep@WXY啊啊啊）昨天也跑了一次场地15km，特别快，均配4’10"，不过比起他半马配速破四还不是那么牛B，然后脚底磨了个跟我去年一样鸡蛋大小的血泡，哈哈哈。

其实我注意到的是这货最近keep上发POST说自己好像不顺心，怕不是也和npy闹矛盾，因为我看到他npy好久不在他的POST下面跟他互动，而且他也很久不跑长距离了，莫名奇妙跑了一次场地15km，肯定是想散散心（以我自己的经验，我也喜欢烦的时候养两天状态去跑长距离）。虽然跟他只是点头之交，在场上跟跑过几次，也不太熟，但是就是觉得人总是个很奇怪的动物，总是会自寻烦恼，说白了就是吃得太撑，事太少，害。主要是从我自己的角度出发，我觉得好不容易接受了被一个人彻底绝交的现实（实话说这还是我第一次被别人绝交），又把心思放到另一个人身上，自己真的是差劲透顶，行为上不逾矩，但是心思上已经逾矩了。

---

文章目录

• 序言
• • @[toc]
• Learning to Automatically Solve Algebra Word Problems 笔注
• Differentiable Learning of Logic Rules for Knowledge Base Reasoning 笔注
• TransOMCS: From Linguistic Graphs to Commonsense Knowledge 笔注

Learning to Automatically Solve Algebra Word Problems 笔注

论文标题：Learning to Automatically Solve Algebra Word Problems

中文标题：学习自动求解代数语言问题

下载链接：Citeseer

项目地址：wordsprobs

1. 本文给出了一种自动求解由自然语言表达的代数问题的求解模型，比如下面这个自然语言表达的问题：

   An amusement park sells 2 kinds of tickets. Tickets for children cost $1.50. Adult tickets cost $4. On a certain day, 278 people entered the park. On that same day the admission fees collected totaled $792. How many children were admitted on that day? How many adults were admitted?

   即可通过下面的一元二次方程组求解：
   $$\{\begin{array}{rlrl}& x& +y& =278\\ & 1.5x& +4y& =792\end{array}⟹\{\begin{array}{r}x=128\\ y=150\end{array}\text{\hspace{1em}(1)}$$

2. 本文的模型是在根据带槽位（slots）的自然语言模板（template）生成的训练数据集上训练而来的，比如上面的例题就是一种模板，里面的四个具体数字（$1.5,4,278,792$）以及对应的两个名词（$\text{Tickets for children}$中的$\mathrm{T}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{s}$，$\text{Adult tickets}$中的$\mathrm{t}\mathrm{i}\mathrm{c}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{s}$）都是模板槽位上的填充词。

   这些推断得到的对应关系可以用于定义跨语句特征（cross-sentence features）以及给模型提供全局性的暗示（global cue），比如在上面的例题中$($1.50,\\text{children})$和$($4,\\text{adults})$都围绕着单词$\\rm cost$，这就暗示模型需要将两个常量的乘积进行累和。

3. 本文的监督学习有两种场景，分别是对问题解的监督和求解问题的方程组的监督，显然后者是更强的监督。

4. 本文的模型在Algebra.com中提供的$514$个代数语言问题上进行评估，成功求解了超过$69\%$的代数语言问题（第二种较强的监督），如果只看问题解的话可以达到$70\%$以上的精确度。

5. 相关研究一览：

   • 情境语义解释（Situated Semantic Interpretation）：强化学习，高成本的逻辑形式标注（用于对话系统，问答系统）。
   • 信息提取（Information Extraction）：本文的方法是基于模板的信息提取。
   • 自动语言问题求解器（Automatic Word Problem Solvers）：基于规则的方法

6. 具体将语言问题（word problems）映射成方程组的方法：其实连方程组都是有模板的

   

7. 接下来就是非常硬核的模型推导部分了，看起来还挺有意思：

   • 定义：

     令$\mathcal{X}$是所有语言问题的集合，一个语言问题（word problems）$x\in \mathcal{X}$是由$k$个单词的序列$(w_1,w_2,...,w_k)$构成，定义方程模板（equation template）$t$，是公式$A=B$，其中$A$和$B$都是表达式，表达式$A$是下面四种之一：

     • 一个数字常量（number constant）$f$
     • 一个数字槽位（number slot）$n$
     • 一个未知数槽位（unknown slot）$u$
     • 两个表达式数学关系$R$，如$n_1\times u_1$

     定义一个系统模板（system template）$T$是$l$个方程模板的集合 { t 0 , t 2 , . . . , t l } \\{t_0,t_2,...,t_l\\} {t0​,t2​,...,tl​}，$\mathcal{T}$是所有系统模板的集合（族）。

     注意到一个槽位可能在一个系统模板中出现不止一次，这样可以使得同一个变量可以在不同的方程中被重复使用。

     记一个槽位$u$的具体实例$i$为$u^i$，简洁地，省略那些只出现一次的槽位的实例$i$上标。

     为了捕获语言问题$x$与系统模板$T$之间的对应关系，定义$p$是一系列二元组$(w,s)$的集合，其中$w$是$x$中的一个符号（token），$s$是$T$中的一个槽位实例。

   • 给定上述一系列定义，一个方程$e$即可通过一个模板$t$构造得到，其中：

     • 每个数字槽位$n$将使用一个具体的实数替换；
     • 每个未知数槽位将使用一个变量替换；
     • 每个数字常数$f$保持原样；

     称上述将模板转换为方程的过程为模板实例化（template instantiation）

   • 类似地，一个方程系统（equation system）$E$是$l$个方程的集合 { e 0 , e 1 , . . . , e l } \\{e_0,e_1,...,e_l\\} {e0​,e1​,...,el​}，将其中每个方程都实例化即可，最终得到方程组的解$a$（若干实数构成的元组）。

   • 定义从语言问题派生（derivation）的$y=(T,p,a)$，其中$T$是选定的系统模板，$p$是$T$与$x$之间的对应（alignment），$a$是问题的解，令$\mathcal{Y}$是所有这些派生$y$构成的集合。

   • 派生空间：

     我们的目的是将每个语言问题$x$映射到一个方程系统$E$。

     方程系统的空间可以定义为所有可能的系统模板$T$的集合$\mathcal{T}$和原始问题$x$中那些可以用于填充槽位的单词。

     实际操作中，我们根据训练数据生成$\mathcal{T}$（$\text{Section 4.1}$），给定系统模板$T\in \mathcal{T}$，创建$T$与$x$之间的对应（alignment）$p$，所有可能的对应对（alignment pairs）被以下各项条件约束：

     • 每个数字槽位$n\in T$可以对应文本中的任意数字
     • 一个数字单词只能对应单一的数字槽位$n$
     • 一个未知数槽位实例$u\in T$只能对应一个名词

     具体对应方式如下图所示：

     

   • 概率模型：显然派生$y\in \mathcal{Y}$和语言问题自然语言处理常识推理综述论文，60页pdf

     常识推理问答相关最新研究进展

     2021年MathorCup数学建模A题自动驾驶中的车辆调头问题全过程解题论文及程序

     [论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师

     SICP 习题 （1.38）解题总结

     学不会“常识”：人工智能的致命短板？