谷歌爆改 Transformer：“无限注意力”让 1B 小模型读完 10 部小说，114 倍信息压缩

图片地址：https://img.ithome.com/newsuploadfiles/2024/4/c55b882b-d064-4859-8864-c7f88138b194.png?x-bce-process=image/format,f_auto

谷歌大改 Transformer，“无限”长度上下文来了。现在，1B 大模型上下文长度可扩展到 1M（100 万 token，大约相当于 10 部小说），并能完成 Passkey 检索任务。8B 大模型在 500K 上下文长度的书籍摘要任务中，拿下最新 SOTA。这就是谷歌最新提出的 Infini-attention 机制（无限注意力）。它能让 Transformer 架构大模型在有限的计算资源里处理无限长的输入，在内存大小上实现 114 倍压缩比。什么概念？就是在内存大小不变的情况下，放进去 114 倍多的信息。好比一个存放 100 本书的图书馆，通过新技术能存储 11400 本书了。这项最新成果立马引发学术圈关注，大佬纷纷围观。加之最近 DeepMind 也改进了 Transformer 架构，使其可以动态分配计算资源，以此提高训练效率。有人感慨，基于最近几个新进展，感觉大模型越来越像一个包含高度可替换、商品化组件的软件栈了