论文泛读170Wordcraft：用于故事写作的人机协作编辑器

Posted 2021-11-12 及时行樂_

贴一下汇总贴：论文阅读记录

论文链接：《Wordcraft: a Human-AI Collaborative Editor for Story Writing》

一、摘要

随着神经语言模型有效性的提高，它们越来越多地应用于现实世界中。然而，这些应用程序往往受限于它们支持的交互模式。在这个扩展摘要中，我们提出 Wordcraft，这是一种用于故事写作的人工智能辅助编辑器，其中作家和对话系统合作编写故事。我们新颖的界面使用少量学习和对话的自然可供性来支持各种交互。我们的编辑器为作者提供了一个沙箱，以探索基于转换器的语言模型的边界，并为未来的人在环训练管道和新颖的评估方法铺平道路。

二、结论

我们将Wordcraft视为一个起点，用于深入研究将语言模式用于多用途创意写作助手的优缺点。用户创建的故事(附录A.1)展示了跨写作过程不同阶段的人工智能协作的广泛潜力:从塑造叙事一直到重新措辞一个句子。早期的用户证明了这个工具激励他们把他们的故事引向他们原本不会考虑的方向。

我们也遇到了故障模式。米娜和GPLM都产出了质量不一致的产品，有些是极好的，有些是荒谬的。除此之外，提示措辞的细微调整导致了输出质量的巨大偏差。还值得注意的是，语言模型有大量带有偏见(Dhamala等人，2021年)和记忆(Carlini等人，2020年)的记录问题，在将Wordcraft带给更多受众之前，需要仔细解决这些问题。我们还发现，对于更难的任务，如填充，微调模型，即使在参数计数小得多的情况下，也往往优于大模型的少次学习。

我们对Wordcraft的下一步计划包括进行更正式的用户研究，目标是更好地理解作者想要什么，这样我们就可以让Wordcraft更有用。我们还计划研究轻量级微调方法，这种方法避免了在内存中为每个任务保留一个微调模型的计算开销(李净洋和梁，2021)。通过这样的方法，我们可以想象为每个用户微调定制任务，或者微调模型来预测用户对模型输出所做的修正。最后，我们计划研究如何将使用Wordcraft收集的数据用于评估和模型训练。

Wordcraft仍处于原型阶段，但我们已经收集了一个独特的故事语料库，这些故事是用展示人工智能协作的工具编写的。我们以这样一个故事结束。蓝色的文本由Wordcraft通过与人类作者的交互生成；黑色文本代表由人类作者直接输入的文本。

演示地址：link。

三、方法

着手从头开始构建一个文本编辑器，能够在故事创作的几个阶段为用户提供NLG支持：

• Planning: sketching an outline for the story
• Writing: getting words down
• Editing: rewriting existing text