ChatGPT 玩「脱」了，写了份毁灭人类计划书，还遭到了 Stack Overflow 的封杀.........

Posted 2022-12-16 CSDN云计算

【CSDN 编者按】OpenAI 的新通用聊天机器人原型 ChatGPT 可谓是风靡一时，但却突遭 StackOverflow 封禁。

整理 | 刘春霖       责编 | 张红月

出品 | CSDN（ID：CSDNnews）

在上周发布的《挑战 Google 搜索？OpenAI 发布最强 AI 对话系统 ChatGPT》一文中曾介绍过，ChatGPT 正处于测试阶段（chat.openai.com），只要有 OpenAI 账户就可以免费使用。万万没想到，此超级对话模型一经开放，很多人便深陷其中，无法自拔。

写得了代码、改得了 Bug，小说、段子统统不再话下，甚至在一名叫 Zac Denham 工程师的引导下，还写出了毁灭人类的计划书……

就连 OpenAI 背后的投资者马斯克也不忘调侃一句，”很多人疯狂地陷入了 ChatGPT 循环中。”

笔者在 ChatGPT 上也进行了提问：

很明显，这是一个很官方的回答。

它在解决各种问题上的能力使其可以成为 Google 等搜索引擎和 Stack Overflow 等编程问答社区的部分替代。虽然许多用户对 ChatGPT 的功能印象深刻，但 Stack Overflow 上也涌入了大量用 ChatGPT 生成的问题答案。

Stack Overflow 称 ChatGPT 答案的正确率非常低，因此对整个网站以及寻求正确答案的用户来说是有害的。例如，要求 ChatGPT 写一个公众人物的传记，它可能会很自信地插入不正确的传记数据。再比如要求它解释如何为特定功能编写软件程序，它同样可以生成可信但最终不正确的代码。如果用户被发现使用 ChatGPT 回答问题，他们可能会受到禁止继续发帖的惩罚。

所以，这个 5 天用户突破百万的模型突遭 Stack Overflow 封禁。

Stack Overflow 临时封杀 ChatGPT

Stack Overflow 在官方通告中表示：这是一个临时性规定，目的是为了应对目前论坛上 ChatGPT 生成内容的泛滥之势。

通过内容，做出这项规定的主要原因是，用户试用一段时间后，很快发现，虽然 ChatGPT 以接近人类的方式回答提示，但它自动生成的答案质量太低，错误太多。并且 ChatGPT 有时会给出看似合理但不正确或荒谬的答案。

OpenAI 的 CEO Sam Altman 也曾在 Twitter 上表示“自周三才上线的 ChatGPT，短短几天它的用户已经突破 100 万大关。对于目前这一问题，我们正在尝试阻止它随机编造，现阶段的问题是有些棘手。但随着时间的推移，我们会根据用户反馈来改进它，也相信它会变得更好！”

ChatGPT 在生成答案中因有太多低质量的答案涌入，已经“淹没”了高质量管理基础设施。接下来，Stack Overflow 将继续围绕 ChatGPT 和其他类似工具的具体要求，但具体决定日期以及限制的内容尚不明确。

网友都有哪些看法？

而对于这个决定，网友们也纷纷留出了自己的观点。

干得好！很高兴有这样正确的决定，希望它不是临时性的。靠 AI 短时间内根本不可能生成完全正确的答案：

也有人表示：它不应该是临时措施。

还有专业人士也对此表达了自己的看法“禁止这样的内容是正确的事情，不过审核的人能做什么呢？上面的帖子上也说这些 AI 生成的答案可能看起来像个高质量答案，但这些无法判断是不是 ChatGPT 生成的。”

无论 AI 生成的答案是否正确，“Stack Overflow 是一个面向专业程序员和程序员爱好者的问答网站。”这适用于问和答部分。在我看来，那些只是将问答复制或从 AI 工具中粘贴的人并不算这两种人。即使他们检查和测试它，如果他们真的能证明这是一个很好的正确答案，他们应该能够自己写出来。这并不一定意味着在互联网上没有(或不会有) AI 的一席之地，但它似乎不属于这里。

无论是对于网友的回答，还是专业人士的解释，从语言模型的角度来说它是非常成熟的，但对于 AI 生成知识类内容来说并不容易。

为什么 ChatGPT 会出现那么多错误？

几天的时间，网友们意识到通过此模型短短几秒就可以生成答案，简直是不浪费任何力气。

但是为什么它会出现错误呢？很明显，出于语言模型的局限性，只能在网上抓取相关答案，无法作出思考和推理，所以就造成了 ChatGPT 回答的错误。

比如：网友问 ChatGPT，霍布斯主张三权分立吗？

很明显回答的很好，但它的回答却是错误的。因此，在 ChatGPT 有 2 个明显的缺点：

• 输入不能有错

• 解释不够人性化

对于 AI 答案的输出还有待考察，无论是对于答案的抓取还是输出的概率性，都是需要有正确的审核。ChatGPT 的研究团队也表示将根据用户反馈持续改进模型，未来还有很长的道路要走。

参考链接：

• https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned

• https://www.theverge.com/2022/12/5/23493932/chatgpt-ai-generated-answers-temporarily-banned-stack-overflow-llms-dangers

• https://www.zdnet.com/article/stack-overflow-temporarily-bans-answers-from-openais-chatgpt-chatbot/

• https://www.solidot.org/story?sid=73555

• https://twitter.com/sama/status/1599668808285028353