Meta 千亿参数大模型 OPT-IML「升级版」来了，完整模型和代码公布

图片地址：https://img.ithome.com/newsuploadfiles/2022/12/ec3774a1-09e3-4df8-a843-922d4590759e.jpg?x-bce-process=image/format,f_auto

继今年五月发布的首个千亿参数大模型 OPT-175B 后，Meta 又重磅推出「升级版」OPT-IML，这次有何提升？今年五月，MetaAI 官宣发布了基于 1750 亿参数的超大模型 OPT-175B，还对所有社区免费开放。12 月 22 日，该模型的更新版本 OPT-IML（Open Pre-trained Transformer）正式上线，Meta 称其「对 2000 个语言任务进行了微调，包含 1750 亿个参数」，还将为非商业研究用途免费开放。这次更新的 OPT-IML 的性能表现如何，先上两张图来看看。这次的 OPT-IML 创建了两种模型尺寸，分别是 30B 和 175B。与旧版 OPT 模型相比，OPT-IML 在 14 个标准 NLP 评估任务中的平均表现均优于 OPT。在零次学习任务上两种模型大小分别好 7%~ 和 32-shot 任务分别好 4%~ 和 0.4%~。在这项研究中，研究人员描述了增加模型和基准