AGGGEN: Ordering and Aggregating while Generating阅读笔记

Posted 2023-02-04 云才哥

目录

1、论文任务：

2、论文思路：

3、整体框架：

 4、整体流程：

5、文本生成：

6、实验结果：

---

1、论文任务：

        基于结构化数据生成描述文本，此处论文主要是应用在WebNLG数据集上。

        WebNLG数据集由三元关系数据组构成记录数据，每一组记录数据都拥有对应的描述数据。

2、论文思路：

        针对三元关系组数据特点，多个三元组可以进行组合来获得一句描述语句。

        论文使用的思路是将输入数据进行排序与聚合，从而于输出的描述文本进行对齐。整体仍然是一句话一句话地生成整段描述文本。

3、整体框架：

• x：输入的三元组数据
• q：输入三元组的谓词集合
• otl：为谓词的嵌入表示
• zt：为三元组数据聚合的嵌入表示
• yt：为输出（此处为观测值）

        论文整个框架分为数据排序、聚合、生成三个部分，图中主要涉及T1-4四个流程步。

         T1：为数据排序，T2-T3共同构成了数据聚合，T4为文本生成。

4、整体流程：

 

1. 首先根据三元组的谓词，将三元组数据进行排序。
2. 根据顺序对谓词进行聚合计算，获取三元组聚合关系。利用聚合的三元组生成观测数据的隐状态zt。
3. 根据隐状态zt生成Factt描述。

5、文本生成：

 在生成一句文本Factt时，会只使用与之相关的三元组数据，其它数据会被掩盖。

6、实验结果：

实验结果显示：模型在WebNLG上的表现较其它模型并没有较好的提升，解释原因是：论文模型相较与其它这些模型，没有使用大规模的预训练、额外的注释或者其它预处理。
但模型在E2E数据集上，相较于其它模型有较好的提升。