论文泛读189研究文本简化评估
Posted 及时行樂_
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了论文泛读189研究文本简化评估相关的知识,希望对你有一定的参考价值。
贴一下汇总贴:论文阅读记录
论文链接:《Investigating Text Simplification Evaluation》
一、摘要
现代文本简化 (TS) 严重依赖黄金标准数据的可用性来构建机器学习模型。然而,现有研究表明,平行 TS 语料库包含不准确的简化和不正确的对齐。此外,通常使用 BLEU 或 SARI 等指标将系统输出与黄金标准进行比较来进行评估。一个主要的限制是这些指标与人类判断不匹配,并且在不同数据集和语言现象上的表现差异很大。此外,我们的研究表明,并行数据集的测试和训练子集存在显着差异。在这项工作中,我们调查了现有的 TS 语料库,提供了新的见解,将推动现有最先进的 TS 评估方法的改进。我们的贡献包括基于用于简化的现有修改对 TS 语料库进行分析,以及通过使用更好分布的数据集对 TS 模型性能进行实证研究。我们证明,通过改善 TS 数据集的分布,我们可以构建更强大的 TS 模型。
二、结论
在本文中,我们展示了1)TS数据集的统计局限性,以及2)子集分布对于构建更健壮模型的相关性。据我们所知,以前没有考虑过基于分布的TS数据集分析。我们希望这些限制的暴露能够在技术服务社区中引发一场讨论,讨论我们在技术服务和更广泛的NLG评估资源方面的方向是否正确。新资源的创建是昂贵和复杂的,然而,我们已经表明,当前的资源可以被提炼,激励未来在TS领域的研究。
这是一篇对现有数据集的分析以及改进,构建出更加强大的模型
以上是关于论文泛读189研究文本简化评估的主要内容,如果未能解决你的问题,请参考以下文章