现在的大型语言模型,能力个个都挺强。但,它们的计算能力都不太行:比如 GPT-3,没法做超过三位数的加法。再比如它们当中的大多数都可以写代码,但是理解代码却很费劲 —— 稍微遇到点带循环的程序就“GG”。不过,来自 MIT 和谷歌的研究人员发现:不用修改模型的底层架构,只需训练它们学会像程序员 debug 时那样“打断点”,读代码的能力就唰唰唰地涨上去了。将同样的思路用于大数加法、多项式计算,那就更不在话下了。所以,语言模型的数学能力终于也要跟上了?!教语言模型用“打断点”的方法做加法、读程序前面说的“打断点”,其实指的是在计算步骤较多的程序中,让模型把每一步都编码为文本,并将它们记录到一个称为“便签”的暂存器中,或者叫“草稿纸”。听起来是个“笨”方法,但正是这样才使得模型的计算过程变得清晰有条理,性能也就比以往直接计算的方式提升了很多。具体操作也很简单。就比如在简单的加法计算中,计算“29+57”的方式就是像这样的:其中 C
谷歌让 NLP 模型也能 debug,只要给一张“草稿纸”就行
2021-12-04 14:36:26来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- Polyhedra与谷歌云达成合作,向全球开发者开放Proof Cloud服务2024-04-17 16:10:00
- 谷歌暗示:I / O 2024 大会有望揭晓三星 XR 头显部分功能2024-04-16 13:43:40
- 爆料称谷歌旗舰新机、平板全上卫星通信,Android 15 原生支持卫星网络2024-04-15 14:28:20
- 消息称谷歌 Pixel 9 系列手机将支持紧急卫星通信功能2024-04-14 21:20:28
- 登上《科学机器人》封面:谷歌 DeepMind 强化学习打造超一流机器球员2024-04-13 22:25:06
- 谷歌推出付费版 Chrome Enterprise Premium,提供更高级的安全防护功能2024-04-13 23:22:53
- 消息称谷歌 5 月 27 日在国际市场推广“查找我的设备”网络服务2024-04-13 14:43:09
- 谷歌爆改 Transformer:“无限注意力”让 1B 小模型读完 10 部小说,114 倍信息压缩2024-04-12 21:47:41
- 谷歌 Alphabet 市值盘中短暂触及 2 万亿美元2024-04-12 22:12:10
- 谷歌 Chrome 123 稳定版浏览器发布:侧边栏按钮退出舞台,改用固定按钮2024-04-13 07:04:37
- 1盘点赵薇商业版图 赵薇所持500万股权再遭冻结 赵薇名下所持股权再遭冻结
- 2联想 ThinkPad T14p AI 2024 笔记本发布:酷睿 Ultra、可选 RTX 4050 独显,7499 元起
- 3渠道商消息称华为 Pura 70 系列手机货量比 Mate 60 系列“要多一些”
- 4通威股份在四川成立树脂公司 注册资本3.6亿
- 5马斯克据悉下周将宣布向印度投资20亿~30亿美元建新厂
- 6U.S. Tech Giants Splurge $770 Million in Fierce Battle for T…
- 7卧龙电驱在包头成立电机公司 注册资本1亿
- 8苹果CEO库克访问印尼讨论投资事宜,称苹果考虑在该国建厂
- 9昆仑万维在天津成立科技公司 注册资本1000万
- 10「安声科技」获过亿元战略轮及C轮融资,提供终端嵌入式智能声学系统化解决方案|36氪首发