自然语言交互学习机器

Posted 2021-08-06 华院计算

关注华院计算，后续更多精彩内容

导读

（在对话系统中）我们怎么可以更好地让人在这个过程中不会觉得这个系统很怪异，这就涉及到我们要考虑不同的人对机器有不同的期待、不同的喜好，怎么样让机器适应不同的用户，怎么样让机器在做不同任务的时候可以有不同的表现）。这整个过程是一个非常复杂的过程。

以下为俞舟博士演讲内容节选

一般情况下我们说构建一个对话系统，它其实而是需要很多的组件的。最后就是如果我们已经想好了自己要做什么，我们还得把它翻译成自然语言，我们才能够处理。在人机交互中我们都知道，不是简简单单的就Text这个信息可以互相传播，如果是人和人交往的话，我们也非常依赖于其他的信息，包括我们知道的Vision、Touch、Audio，这些信息可以让机器人更了解对方，更了解这个环境，从而让它完成某一个任务可以更有效更高效。

我们通常人和人之间交流，它有很commonsense（常识），就是人本身就有的，但机器没有。我们要怎么样去integrat（集成）commonsense（常识）。（在对话系统中）我们怎么可以更好地让人在这个过程中不会觉得这个系统很怪异，这就涉及到我们要考虑不同的人对机器有不同的期待、不同的喜好，怎么样让机器适应不同的用户，怎么样让机器在做不同任务的时候可以有不同的表现）。这整个过程是一个非常复杂的过程。

一般情况下我们知道在机器学习中，我们通常见到的实际应用中的系统大部分是监督学习模型，监督学习模型它的组建一般分成几个部分，首先你要去收集数据，然后你要去标注这些数据，通常是由人工来完成的。最后你根据这个数据，根据标注，我们所说的Labels-training Model，然后这个过程中我们需要很多的人力去标注这个数据，然后才能够得到这个模型。

其实人力标注非常的花钱，我们如何在这个地方来减少投入？如何不是简简单单的用人力去打标一个东西，而是让人通过自然语言的描述来帮助这个机器更好的得到一些知识，然后利用知识减少标注的需求，得到一个更好的模型。

我们首先做一个简单的测试，就是我们有这么几个不同的鸟的照片，我们想要找到ABC三个照片里面哪一个鸟它不是Ring-billed Gull。在生物学中我们知道这个是一种特别的鸟，Ring-billed Gull它的毛的颜色会变化，它会换毛，在过了一年以后毛的颜色是会换的。但是它真正的问题就是说，其实正确的选择是我们要看鸟它的喙上面有没有一个Ring，就有没有一个圆圈？它之所以叫Ring-billed Gull，它的喙上有一个Ring。

ALICE Framework

所以说我们想要知道能不能让专家来给我们提供这些解释，这样的话我们就可以更好地更高效地来帮助我们去区别不同的鸟类。我们设计的框架叫

Alice：Activelearning with Contrastive Natural language Explanations。

首先我们要说为什么是Contrastive（比较）Natural language Explanations？就说我们问的问题，就a和b比较来说哪一个他们有什么差别？所以说他们这个是个比较，所以我们称为Contrastive Natural language Explanations，现在我们就说我们首先要选择哪两个类别去做比较，然后如果做这个类别比较的话，我们应该选择几个。然后还有比如说我们可以有不同的where，你就说我们可以问几次，这些都是参数。

ALICE Framework分为以下三个步骤

1

Step1:Class-basedActive learning

2

Step2:Learning Semantic Explanation Grounding

3

Step:3 Neural Architecture Morphing

我们做了一些简单的实验，首先选择25种鸟种，每个鸟种只标记15张图片，然后允许model去提问四次，然后每次我就选三个class就是computingclass来让人来帮助，如果这样做效果会有多少提升。

每一步其实都很重要，Alice如果它只能提问一次的话准确率就是65%了。如果我们有4次的话就可以做到76%。

ALICE还有一个优势是它有更好的Semanticconstraints。

ALICE也可以运用于其他各种各样的场景，比如说有另一个task叫做Social Relationship Classification，那就是说给你一张图，我想让你告诉我他们这个图里面人和人之间的关系是什么？

这是一种方式来让我们更好的利用人类的智能来帮助机器来学习。可以向机器提各种各样的问题。如果提counterfactualexample（非事实样例），比如说你告诉我说这个example是一个猫，我要怎么做？还可以让example变成一个狗，那人可以告诉你说，你如果把小动物的耳朵变，耳朵和脸形状便像这样子，它就会变成一个狗。

最后我们一起来看下俞舟博士对话系统案例视频~

Play

『往期精彩』

▼▼▼

• 
  

•