chatGPT笔记

Posted 2023-03-01 zh515858237

文章目录

• 一、GPT之技术演进时间线
• 二、chatGPT中的语言模型instructGPT跟传统语言LM模型最大不同点是什么？
• 三、instructGPT跟GPT-3的网络结构是否一样
• 四、GPT和BERT有啥区别
• 五、chatGPT的训练过程是怎样的？
• 六、GPT3在算数方面的能力
• 七、GPT相比于bert的优点是什么
• 八、元学习(meta-learning)是什么
• 参考文献

一、GPT之技术演进时间线

GPT从开始至今，其发展历程如下：

2017年6月，Google发布论文《Attention is all you need》​，首次提出Transformer模型，成为GPT发展的基础。 论文地址： https://arxiv.org/abs/1706.03762

2018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力)​，首次提出GPT模型(Generative Pre-Training)。论文地址： https://paperswithcode.