谷歌机器学习训练有史以来最大版本 BERT 模型，参数规模 4810 亿

图片地址：https://img.ithome.com/newsuploadfiles/2021/12/65f408bd-368c-4338-8bdb-f6c866d79c3a.png

机器学习领域权威“跑分”MLPerf v1.1 训练榜单已出炉。这次，在 BERT 模型的成绩表上有一个“异常”的数字：1196.638（分钟），来自谷歌。怎么？谷歌训练一个 BERT 要接近 1 天，别家都只要几分钟？这其实是谷歌从未透露的巨型版本 BERT，参数规模有 4810 亿，不是别人只有几亿参数那种的 BERT。它也是谷歌今年在 MLPerf“非标准区”提交的一个作品：一共花了 2048 块 TPUv4，约 20 小时训练而成！▲ TPUv4 芯片机架，谷歌数据中心有史以来最大版本的 BERT标准 BERT 模型（BERT Large）参数规模只有 3.4 亿，而此次 4810 亿的巨型 BERT 是有史以来最大的一个版本。这俩之间直接差了好几个数量级。而谷歌表示，训练大型模型正是公司的“重中之重”（主要用于云服务）。所以此次他们根本没有参加任何标准分区里的跑分评比，只在非标准区“释放了自我”。MLPerf