微比恩 > 信息聚合 > 谷歌机器学习训练有史以来最大版本 BERT 模型,参数规模 4810 亿

谷歌机器学习训练有史以来最大版本 BERT 模型,参数规模 4810 亿

2021-12-03 15:16:26来源: IT之家

机器学习领域权威“跑分”MLPerf v1.1 训练榜单已出炉。这次,在 BERT 模型的成绩表上有一个“异常”的数字:1196.638(分钟),来自谷歌。怎么?谷歌训练一个 BERT 要接近 1 天,别家都只要几分钟?这其实是谷歌从未透露的巨型版本 BERT,参数规模有 4810 亿,不是别人只有几亿参数那种的 BERT。它也是谷歌今年在 MLPerf“非标准区”提交的一个作品:一共花了 2048 块 TPUv4,约 20 小时训练而成!▲ TPUv4 芯片机架,谷歌数据中心有史以来最大版本的 BERT标准 BERT 模型(BERT Large)参数规模只有 3.4 亿,而此次 4810 亿的巨型 BERT 是有史以来最大的一个版本。这俩之间直接差了好几个数量级。而谷歌表示,训练大型模型正是公司的“重中之重”(主要用于云服务)。所以此次他们根本没有参加任何标准分区里的跑分评比,只在非标准区“释放了自我”。MLPerf

标签: 谷歌