ChatGPT会对未来5年的NLP算法从业者带来怎样的冲击？

Posted 2023-01-09 Datawhale

 Datawhale干货 

作者：张俊林等，来源：AINLP

周末看到知乎的一个问题，有点意思，值得思考，选取几个回答，欢迎留言。

问题：ChatGPT的诞生意味着模型大一统的可行性，这会对未来5年的NLP算法从业者带来怎样的冲击？

我个人从ChatGPT上看到了很多可能性，也对未来职业生涯更加悲观，或许纳米酱说得对，薅资本主义羊毛，攒够几百万回家考公务员才是正道。

链接：https://www.zhihu.com/question/575391861

作者：张俊林@知乎

一言以蔽之：对于NLP研究人员，前景非常不乐观。ChatGPT这种Instruct based方法，能取得如此惊艳的效果，是出乎很多人意料的，当然，我个人认为它能力的强大，主要还要归因到背后依托的GPT 3.5太强了，这体现了模型规模的魔力。而这意味着很多目前独立存在的NLP研究领域，将被纳入LLM的技术体系，进而不再独立存在，逐步消失。目前大多数NLP子领域，仍然是以独立研究领域存在的，比如“机器翻译”、“文本摘要”、“QA系统“等，只是切换成在“预训练+fine-tuning／few shot prompting”框架下，面对领域独有问题，陆续提出新的改进方案。目前研究表明，很多NLP任务，随着LLM模型规模增长，效果会大幅提升。据此，我觉得也许我们可以得到如下推论：大多数某领域所谓“独有”的问题，大概率只是缺乏领域知识导致的一种外在表象，只要领域知识足够多，这个所谓领域独有的问题，就可以被很好地解决掉，其实并不需要专门针对某个具体领域问题，冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单：你只要把这个领域更多的数据交给LLM，让它自己学习更多知识即可。在这个背景下，未来的技术发展趋势应该是：追求规模越来越大的LLM模型，通过增加预训练数据的多样性，来涵盖越来越多的领域，LLM自主从领域数据中通过预训练过程学习领域知识，随着模型规模不断增大，很多问题随之得到解决。研究重心会投入到如何构建这个理想LLM模型，而非去解决某个领域的具体问题。这样，越来越多NLP的子领域会被纳入LLM的技术体系，进而逐步消失。

我认为，判断某个具体领域是否该立即停止独立研究，其判断标准可采取以下两种方法，占其一即可：

第一，判断某个任务，是否LLM的研究效果超过人类表现，对于那些LLM效果超过人类的研究领域，已无独立研究的必要。举个例子，GLUE与SuperGLUE测试集合里的很多任务，目前LLM效果已超过人类表现，与这个数据集合密切相关的研究领域，其实就没有继续独立存在的必要。

第二，对比两种模式的任务效果，第一种模式是用较大的领域专用数据进行Fine-tuning，第二种是few-shot prompting或instruct-based方法。如果第二种方法效果达到或超过第一种方法，则意味着这个领域没有继续独立存在的必要性。如果用这个标准来看，其实很多研究领域，目前fine-tuning效果还是占优的（因为这种模式领域训练数据量大），看似还可独立存在。但是考虑到很多任务随着模型规模增大，few shot prompting／instruct效果持续增长，随着更大模型的出现，这个拐点很可能短期就会达到。如果上述猜测成立，将意味着如下残酷事实：对于很多NLP领域的研究人员，将面临往何处去的选择，是继续做领域独有问题呢？还是放弃这种看似前途不大的方式，转而去建设更好的LLM？如果选择转向去建设LLM，又有哪些机构有能力、有条件去做这个事情呢？我们很多人可能早晚要面对这些问题，并给出自己的选择。当然，我个人表示情绪稳定，对我基本没啥影响，因为在T5出现之后，我就知道自己已经没有能力做LLM这个事情了。

作者：郑楚杰@知乎

对于 R&D 可能影响不大，毕竟做的事一直都是 follow 国际大厂的前沿工作，他们出什么就跟进什么就好了，对于垂直领域的可能会产生较大冲击。当 LMaaS 普遍后，竞品都基于同样的基础模型，能力下限大大提升，行业门槛大大下降。仅存的护城河就是里的数据积累（但效用会随着 LLM 变得更强而下降） 对于 NLP 研究者（包括 AI Lab、高校研究室）、特别是垂直领域可能冲击最大。通用 LLM 方法让垂直领域的细分/长尾问题上的 incremental improvement 很难再有大的价值和影响力，你费老大劲都只能缓解的问题可以被 LLM 直接解决。由于我自己还在读博，关于 3 可能感受更深，再说两句以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难，过于 magic」，即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实：OpenAI 提供的 LMaaS 服务（toB 和 toC）已经具备很高的速度（很低的 latency)，并构成了行之有效的盈利模式 2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界，这进一步促进了 1 2 中的这些研究都是出自国际大厂，国内几乎已经缺席了 LLM 的前沿研究。

由于实力的不对等，OpenAI、Google、DeepMind 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展（转为挤牙膏模式） 以上事实意味着：当国际大厂用上了更低成本、更好性能的 LLM 技术使其落地时（尤其是极富潜力的生产力场景），国内可能还在认为 LLM 落地难而止步不前，而这仅仅是因为前者没有公开技术或指明可能性。换而言之，等 GPT-4 出来后，国内的专家们可能又会说「大模型落地难，实际应用还得靠中小模型」，但「OpenAI 的大模型成本或许比你的中小模型还要低」，更不用说 OpenAI 的中小模型（如 6B~13B）的性能已经远超一众超大模型（如 130B~175B）。在这一趋势下，国内与国际前沿的技术鸿沟会越来越大，甚至无法追赶 那么对于研究人员来说，如何判断自己研究的问题在 LLM 时代下还有没有价值？@张俊林的回答其实说得已经很好了。我个人认为最核心的两个依据是：

这个问题是否是通用领域问题？如 LLM 的可解释性、训练与提示技巧、模型压缩和加速 这个问题是否会被 scaling 解决？如果  可以解决，或者方法带来的提升随着 scaling 而减小，那么研究的价值和影响力可能就会极为有限。如果对学术/技术影响力有更高的追求，在资源和条件允许的情况下，则应该转向通用领域的问题开展研究。

作者：多头注意力@知乎

题主用了冲击一词，应该认为影响比较负面。我倒是认为不一定，特别是应用端，以下是几点想法：

大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。评论区有朋友说直接调用API只需要开发同学就行了，没错，【调用】这个动作确实很容易，但chatgpt 并不是个像查天气，查邮编这样确定性的api，prompt 的设计，结果的校验都是需要不少工作的。技术有突破有利于行业繁荣，特别是在一个比较短的时间内（题主问五年内）。参考2013年后卷积神经网络带来的行业热潮和2017年后预训练语言模型带来的行业热潮。从业者的工作方式肯定会改变。重要的是跟上趋势，不要抱着原来的技术和方法不放。这个情况也不是没有经历过，词向量时代大家花大量时间减少OOV ，bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了，会冲击行业，但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型，那可能对他的职业发展确实是有【冲击】。工具的进步是会释放创意潜力的，所谓学以致用，可以多思考怎么用。至于研究者，比较认可@张俊林的回答，影响会大一些。

整理不易，点赞三连↓