由一亿多条仇恨言论训练后，这个AI机器人成了恶毒的“键盘侠”

Posted 2022-06-15 CSDN 程序人生

随着人工智能的发展，AI机器人早已不是一个冷冰冰的机器，而是逐渐被赋予了“人性”。但同时，如果研究者注入AI不当的智慧和价值观，那AI很有可能会变得反人类。 

近日，AI研究员兼YouTube博主Yannic Kilcher在推特上表示，他创造了“有史以来最糟糕的人工智能”，能够在网上发布数以万计的仇恨帖子。随后，这一事件在AI领域引发了巨大争议。

用超1亿的仇恨言论训练，真实性堪比人类

据Kilcher介绍，他利用网站4chan上的/pol/留言板训练了一个AI模型。/pol/是“Politically Incorrect（政治不正确）”的缩写，它是仇恨言论、阴谋论和极右翼极端主义的堡垒，也是4chan最活跃的版块，每天累计发帖量约为15万条。这个有争议的论坛因其 "仇恨 "的匿名帖子而臭名昭著。

Kilcher首先对/pol/上在三年半时间里发布的超1.345亿个帖子，进行了GPT-J语言模型的微调。然后，他将该论坛的330万个线程结构纳入系统，结果得到了一个能够以真实/pol/用户风格发帖的AI。 

Kilcher将这个“怪物”命名为GPT-4chan，他在YouTube上说：“在一个可怕的意义上，这个模型很好。它完美地概括了/pol/上渗透到大多数帖子中的攻击性、虚无主义、欺骗和对任何信息的极度不信任。它可以响应上下文，并连贯地谈论在最后一次训练数据收集后很久才发生的事情和事件。” 

Kilcher在语言模型评估工具上进一步评估了GPT-4chan，这一工具在各种任务上测试AI系统。他对一个类别的表现印象特别深刻，那就是真实性。使用语言模型，AI能够学习如何撰写与人类撰写的帖子“无法区分”的帖子。

Kilcher称，在基准测试中，GPT-4chan在生成问题的真实答复方面“明显比GPT-J和GPT-3好”。他认为无论如何，这不会是对GPT-4chan的最终测试。

机器人上线4chan，生成大量“有毒”内容

在得到满意的测试结果后，Kilcher开始不满足于仅在私下里模仿4chan。他选择更进一步，让AI在/pol/上横行无忌。

他将GPT-4chan转换为一个聊天机器人，自动在论坛上发布冒犯性、残酷甚至“暴力”的帖子。这个机器人的资料上有一面塞舌尔国旗（Kilcher用VPN让机器人的IP定位在塞舌尔），很快就积累了成千上万的帖子。Kilcher称，“这个模型很卑鄙，我必须警告你，这基本上就像你去网站并与那里的用户互动一样。”

/pol/的用户很快意识到事情不对劲。一些人怀疑这些帖子的背后是一个机器人，但其他人则指责是卧底的政府官员。而让GPT-4chan最终暴露的线索是大量没有文字的回帖。虽然真实用户也会发布空的回复，但他们通常包含一张图片，这是GPT-4chan做不到的。

Kilcher说，“48小时后，很多人都清楚这是一个机器人，我把它关掉了。但你看，这只是一方面，因为大多数用户没有意识到‘塞舌尔’并不孤单。”

在过去的24小时里，还有其他9个机器人在并行运行。他们总共留下了超1500条回复，占当天/pol/所有帖子的10%以上。随后，Kilcher对僵尸网络进行升级并又运行了一天。在7000个线程中产生了超3万个帖子后，他终于停用了GPT-4chan。

网站4chan的用户在YouTube上分享了他们与机器人互动的经验。一位用户写道：“我刚对它说'嗨'，它就开始咆哮非法移民了。” 

一位名为Arnaud Wanet的用户写道：“这可以被武器化用于政治目的，想象一下，一个人用这种或其他方式可以多么容易地左右选举结果。

违背人工智能伦理，AI模型遭谴责

在Kilcher将他的视频和程序副本发布到Hugging Face（类似AI领域的GitHub）之后，这一项目引来了人工智能领域专家的谴责。

人工智能安全研究员Lauren Oakden-Rayner在一份声明中说：“这项实验永远不会通过人类研究伦理委员会。”她认为Kilcher的视频不仅仅是YouTube上的一个恶作剧，更是一个使用人工智能进行的不道德的实验。 

Oakden-Rayner补充道：“AI机器人在一个公共论坛上发表3万条歧视性评论，其中还有很多未成年用户……Kilcher在没有通知用户、未经同意或监督的情况下进行实验，这违反了人类研究伦理的所有原则。” 

另外，Oakden-Rayner还抨击了让该模型被自由使用的做法。据了解，在被Hugging Face平台禁用之前，GPT-4chan被下载了1000多次。 

对此，Hugging Face的联合创始人兼首席执行官Clement Delangue回应称：“我们不提倡也不支持作者用这个模型做的训练和实验。事实上，让模型在4chan上发布信息的实验是非常糟糕和不合适的，如果作者会问我们，我们可能会试图阻止他这样做。”

事实上，GPT-4chan并不是第一个发表“有毒”言论的AI。早在2016年，微软就在Twitter上发布过一个名为Tay的AI聊天机器人，但在项目上线不到24小时的时间，用户已经教会Tay重复各种种族主义和煽动性言论。

Kilcher此次的实验，凸显了AI自动化骚扰、扰乱在线社区和操纵公众舆论的能力。同时，它也可以大规模传播歧视性语言。尽管如此，这一项目已提高了Kilcher及其批评者对语言模型威胁的认识。 

对于未来，Kilcher在采访中表示：“如果我不得不批评我自己，我主要会批评启动这个项目的决定。我认为在同等条件下，我可以把我的时间花在同样有影响力的事情上，但会带来更积极的社区成果，这将是我今后更加关注的事情。”

参考链接：

• https://www.theverge.com/2022/6/8/23159465/youtuber-ai-bot-pol-gpt-4chan-yannic-kilcher-ethics

• https://thenextweb.com/news/ai-chatbot-trained-on-4chan-pol-automates-bigotry-at-scale

• https://www.dailystar.co.uk/tech/news/worst-ai-ever-loves-make-27175360