BigScience 开源 Bloom 的自然语言处理模型

Posted 2022-07-18 ejinxian

        BigScience 的研究人员发布了一个名为 Bloom 的自然语言处理模型，该模型具有 1760 亿个参数，一举超越市面上的所有竞争对手，成为目前规模最大的语言模型。

        大型语言模型(LLMs)对人工智能研究产生了重大影响。这些强大的通用模型可以根据用户的指令承担各种各样的新语言任务。然而，学术界、非营利组织和小公司的研究实验室发现很难创建、研究甚至使用LLMs，因为只有少数拥有必要资源和独家权利的工业实验室可以完全访问它们。今天，我们发布了BLOOM，第一个在完全透明的情况下训练的多语言LLM，以改变这一现状——这是有史以来最大的人工智能研究人员合作的结果。

         BLOOM拥有1760亿个参数，能够以46种自然语言和13种编程语言生成文本。对于几乎所有的语言，比如西班牙语、法语和阿拉伯语，BLOOM将是有史以来创建的第一个超过100B参数的语言模型。这是来自70多个国家和250多个机构的1000多名研究人员一年工作的成果，最终在法国巴黎南部的Jean Zay超级计算机上训练了117天(3月11日至7月6日)的BLOOM模型，这要归功于法国国家科学研究中心(CNRS)和法国科学研究中心(CNRS)估计价值300万欧元的计算拨款。

        语言模型的开发成本历来很高，以现在知名度很高的 GPT-3 为例，其成本高达 2760 万美元。这也是这类模型通常被牢牢掌握在微软、Meta、Google 和 OpenAI 等大型科技公司手中的原因。

        OpenAI 开发的 GPT-3 并不开源；Meta 开发的 OPT-175B 虽然开源，但完整的模型只有在提出申请后才能获得，并且只能用于非商业用途。而 Bloom 就完全不同，并没有这些限制，任何个人或机构都可以免费获得 1760 亿个参数的完整模型。

        Bloom 拥有 1760 亿个参数，一个人工智能系统包含的此类参数越多，它能够执行的任务就越高级。所以 Bloom 目前支持 46 种语言（包括中文）和 13 种编程语言，可以用来回答问题、翻译文本、从文件中提取信息片段，还能像 GitHub Copilot 一样用于生成代码。

        

参考：

Bloom 项目的代码放在了 Hugging Face 的官网：bigscience/bloom · Hugging Face

 Introducing The World's Largest Open Multilingual Language Model: BLOOM