中英文最大 AI 模型世界纪录先后产生，大模型竞赛新阶段来了

图片地址：https://img.ithome.com/newsuploadfiles/2021/10/20700758-34a1-461a-9b84-c6b2ac6cfacf.png

10 月 15 日消息，超大 AI 模型训练成本太高 hold 不住？连市值万亿的公司都开始寻求合作了。本周，英伟达与微软联合发布了 5300 亿参数的“威震天-图灵”（Megatron-Turing），成为迄今为止全球最大 AI 单体模型。仅仅在半个月前，国内的浪潮发布了 2500 亿参数的中文 AI 巨量模型“源 1.0”。不到一个月的时间里，最大英文和中文 AI 单体模型的纪录分别被刷新。而值得注意的是：技术发展如此之快，“威震天-图灵”和“源 1.0”还是没有达到指数规律的预期。要知道，从 2018 年开始，NLP 模型参数近乎以每年一个数量级的速度在增长。▲ 近年来 NLP 模型参数呈指数级上涨（图片来自微软）而 GPT-3 出现后，虽然有 Switch Transformer 等万亿参数混合模型出现，但单体模型增长速度已经明显放缓。无论是国外的“威震天-图灵”，还是国内的“源 1.0”，其规模和 GPT-3