ChatGPT会对未来5年的NLP算法从业者带来怎样的冲击?

Posted Datawhale

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ChatGPT会对未来5年的NLP算法从业者带来怎样的冲击?相关的知识,希望对你有一定的参考价值。

 Datawhale干货 

作者:张俊林等,来源:AINLP

周末看到知乎的一个问题,有点意思,值得思考,选取几个回答,欢迎留言。

问题:ChatGPT的诞生意味着模型大一统的可行性,这会对未来5年的NLP算法从业者带来怎样的冲击?

我个人从ChatGPT上看到了很多可能性,也对未来职业生涯更加悲观,或许纳米酱说得对,薅资本主义羊毛,攒够几百万回家考公务员才是正道。

链接:https://www.zhihu.com/question/575391861

作者:张俊林@知乎

一言以蔽之:对于NLP研究人员,前景非常不乐观。ChatGPT这种Instruct based方法,能取得如此惊艳的效果,是出乎很多人意料的,当然,我个人认为它能力的强大,主要还要归因到背后依托的GPT 3.5太强了,这体现了模型规模的魔力。而这意味着很多目前独立存在的NLP研究领域,将被纳入LLM的技术体系,进而不再独立存在,逐步消失。目前大多数NLP子领域,仍然是以独立研究领域存在的,比如“机器翻译”、“文本摘要”、“QA系统“等,只是切换成在“预训练+fine-tuning/few shot prompting”框架下,面对领域独有问题,陆续提出新的改进方案。目前研究表明,很多NLP任务,随着LLM模型规模增长,效果会大幅提升。据此,我觉得也许我们可以得到如下推论:大多数某领域所谓“独有”的问题,大概率只是缺乏领域知识导致的一种外在表象,只要领域知识足够多,这个所谓领域独有的问题,就可以被很好地解决掉,其实并不需要专门针对某个具体领域问题,冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单:你只要把这个领域更多的数据交给LLM,让它自己学习更多知识即可。在这个背景下,未来的技术发展趋势应该是:追求规模越来越大的LLM模型,通过增加预训练数据的多样性,来涵盖越来越多的领域,LLM自主从领域数据中通过预训练过程学习领域知识,随着模型规模不断增大,很多问题随之得到解决。研究重心会投入到如何构建这个理想LLM模型,而非去解决某个领域的具体问题。这样,越来越多NLP的子领域会被纳入LLM的技术体系,进而逐步消失。

我认为,判断某个具体领域是否该立即停止独立研究,其判断标准可采取以下两种方法,占其一即可:

第一,判断某个任务,是否LLM的研究效果超过人类表现,对于那些LLM效果超过人类的研究领域,已无独立研究的必要。举个例子,GLUE与SuperGLUE测试集合里的很多任务,目前LLM效果已超过人类表现,与这个数据集合密切相关的研究领域,其实就没有继续独立存在的必要。

第二,对比两种模式的任务效果,第一种模式是用较大的领域专用数据进行Fine-tuning,第二种是few-shot prompting或instruct-based方法。如果第二种方法效果达到或超过第一种方法,则意味着这个领域没有继续独立存在的必要性。如果用这个标准来看,其实很多研究领域,目前fine-tuning效果还是占优的(因为这种模式领域训练数据量大),看似还可独立存在。但是考虑到很多任务随着模型规模增大,few shot prompting/instruct效果持续增长,随着更大模型的出现,这个拐点很可能短期就会达到。如果上述猜测成立,将意味着如下残酷事实:对于很多NLP领域的研究人员,将面临往何处去的选择,是继续做领域独有问题呢?还是放弃这种看似前途不大的方式,转而去建设更好的LLM?如果选择转向去建设LLM,又有哪些机构有能力、有条件去做这个事情呢?我们很多人可能早晚要面对这些问题,并给出自己的选择。当然,我个人表示情绪稳定,对我基本没啥影响,因为在T5出现之后,我就知道自己已经没有能力做LLM这个事情了。

作者:郑楚杰@知乎

对于 R&D 可能影响不大,毕竟做的事一直都是 follow 国际大厂的前沿工作,他们出什么就跟进什么就好了,对于垂直领域的可能会产生较大冲击。当 LMaaS 普遍后,竞品都基于同样的基础模型,能力下限大大提升,行业门槛大大下降。仅存的护城河就是里的数据积累(但效用会随着 LLM 变得更强而下降) 对于 NLP 研究者(包括 AI Lab、高校研究室)、特别是垂直领域可能冲击最大。通用 LLM 方法让垂直领域的细分/长尾问题上的 incremental improvement 很难再有大的价值和影响力,你费老大劲都只能缓解的问题可以被 LLM 直接解决。由于我自己还在读博,关于 3 可能感受更深,再说两句以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难,过于 magic」,即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实:OpenAI 提供的 LMaaS 服务(toB 和 toC)已经具备很高的速度(很低的 latency),并构成了行之有效的盈利模式 2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界,这进一步促进了 1 2 中的这些研究都是出自国际大厂,国内几乎已经缺席了 LLM 的前沿研究。

由于实力的不对等,OpenAI、Google、DeepMind 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展(转为挤牙膏模式) 以上事实意味着:当国际大厂用上了更低成本、更好性能的 LLM 技术使其落地时(尤其是极富潜力的生产力场景),国内可能还在认为 LLM 落地难而止步不前,而这仅仅是因为前者没有公开技术或指明可能性。换而言之,等 GPT-4 出来后,国内的专家们可能又会说「大模型落地难,实际应用还得靠中小模型」,但「OpenAI 的大模型成本或许比你的中小模型还要低」,更不用说 OpenAI 的中小模型(如 6B~13B)的性能已经远超一众超大模型(如 130B~175B)。在这一趋势下,国内与国际前沿的技术鸿沟会越来越大,甚至无法追赶 那么对于研究人员来说,如何判断自己研究的问题在 LLM 时代下还有没有价值?@张俊林的回答其实说得已经很好了。我个人认为最核心的两个依据是:

这个问题是否是通用领域问题?如 LLM 的可解释性、训练与提示技巧、模型压缩和加速 这个问题是否会被 scaling 解决?如果  可以解决,或者方法带来的提升随着 scaling 而减小,那么研究的价值和影响力可能就会极为有限。如果对学术/技术影响力有更高的追求,在资源和条件允许的情况下,则应该转向通用领域的问题开展研究。

作者:多头注意力@知乎

题主用了冲击一词,应该认为影响比较负面。我倒是认为不一定,特别是应用端,以下是几点想法:

大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。评论区有朋友说直接调用API只需要开发同学就行了,没错,【调用】这个动作确实很容易,但chatgpt 并不是个像查天气,查邮编这样确定性的api,prompt 的设计,结果的校验都是需要不少工作的。技术有突破有利于行业繁荣,特别是在一个比较短的时间内(题主问五年内)。参考2013年后卷积神经网络带来的行业热潮和2017年后预训练语言模型带来的行业热潮。从业者的工作方式肯定会改变。重要的是跟上趋势,不要抱着原来的技术和方法不放。这个情况也不是没有经历过,词向量时代大家花大量时间减少OOV ,bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了,会冲击行业,但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型,那可能对他的职业发展确实是有【冲击】。工具的进步是会释放创意潜力的,所谓学以致用,可以多思考怎么用。至于研究者,比较认可@张俊林的回答,影响会大一些。

整理不易,三连

以上是关于ChatGPT会对未来5年的NLP算法从业者带来怎样的冲击?的主要内容,如果未能解决你的问题,请参考以下文章

作为NLP算法,最近被ChatGPT刷屏后的心路历程

探索图文处理的未来:知名学府与合合信息团队分享NLP实践经验,人工智能引领技术革新

“ChatGPT爆火后,NLP技术不存在了”

从 ELMo 到 ChatGPT:历数 NLP 近 5 年必看大模型

从 ELMo 到 ChatGPT:历数 NLP 近 5 年必看大模型

专栏 | NLP概述和文本自动分类算法详解