OpenAI开放GPT-3微调功能,一行命令就能实现,正确率最高提升4倍

Posted 程序员的店小二

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了OpenAI开放GPT-3微调功能,一行命令就能实现,正确率最高提升4倍相关的知识,希望对你有一定的参考价值。

来源:量子位 作者:明敏

OpenAI近日宣布,允许用户创建自定义版的GPT-3。

而且步骤非常简单,只需一行命令就能实现!

经过微调(fine-tuned),定制版的GPT-3在不同应用中的提升非常明显。

OpenAI表示,它可以让不同应用的准确度能直接从83%提升到95%、错误率可降低50%

解小学数学题目的正确率也能提高2-4倍

这样一来,踩在巨人的肩膀上、直接在1750亿参数的大模型上微调,不少研发人员都可以不用再重头训练自己的AI模型了。

这让网友们大呼:

现在我能直接训练我的聊天机器人了,这可节省太多时间和费用了!

比如这个税收应用——Keeper Tax。

显然,在把GPT-3开放给更多人用这件事上,OpenAI真的是不遗余力。

微调好处多

微调好处多,这一点OpenAI早有证明。

今年6月,他们就曾只用80个文本的数据集进行训练,让GPT-3说话的危险性大幅降低,而且表达也更有人情味。

(下图中蓝线表示训练后模型,红线表示基础模型,分数越高意味着表现越好)

事实上,已经有不少应用已经用上了定制版的GPT-3,并且表现都不错。

比如这个税收应用——Keeper Tax。

它能通过定制版的GPT-3来识别账单上的各种数据,以帮助用户找到可以免税的费用。

Keeper Tax表示,在用上微调后的GPT-3后,应用识别的准确率每周都会提高约1%,准确率已经从过去的85%提升到了93%。

再来看这个人工智能检索工具——Elicit。

它可以根据用户搜索的问题来智能给出结果。

在用上定制版GPT-3后,Elicit给出的结果在易懂性上提高了24%、准确性上提高了17%、整体方面则提升了33%

还有这个可智能读取用户评论的应用——Viable。

它能够从大量评论中读取用户的重要建议,比如投诉、疑问等。

定制化GPT-3使该应用在识别用户反馈的准确率上从66%提升到了90%

事实上,不只是准确率上的提升。

在输出结果的用时、多样性上,定制化GPT-3都有着更明显的优势。

如何食用?

OpenAI表示,想要微调GPT-3大致需要3个步骤:

准备和上传训练数据;训练微调模型;最后使用

其中,训练数据必须是JSONL文档,这一步是让GPT-3在哪方面表现突出的关键。

创建微调模型是在OpenAI CLI上进行,步骤也很简单,只需上传数据文件、创建微调作业、再等待几分钟或几小时等待作业完成。

最后,使用微调模型时,只需将命令行中fine_tuned_model字段换成模型名称即可。

具体步骤OpenAI已在官方网页上给出,可参看文末链接2

当然,想要用更加强大的GPT-3,所需费用也会有些提升。

微调后模型每1K token的费用,将比基础版高出50%

OpenAI技术人员在采访时表示:“我们开发此功能时,希望能够让没有AI研究背景的人也能使用它。

不少网友也纷纷留言表示,自己用GPT-3写出了很多有意思的应用。

比如有人就写了一个睡眠播客,可以讲童话故事的那种:

参考链接:
[1]https://openai.com/blog/customized-gpt3/
[2]https://beta.openai.com/docs/guides/fine-tuning
[3]https://news.ycombinator.com/item?id=29554116

以上是关于OpenAI开放GPT-3微调功能,一行命令就能实现,正确率最高提升4倍的主要内容,如果未能解决你的问题,请参考以下文章

OpenAI开放GPT-3微调功能,一行命令就能实现,正确率最高提升4倍

OpenAI 开放 GPT-3 微调功能,让开发者笑开了花

开发自己私有chatGPT训练微调openai模型

OpenAI 真的 Open 了,GPT-3 使用将更加开放

GPT-3再进化:通过浏览网页来提高事实准确率

简单研究一下 OpenAI 的官方文档