更像人脑的新型注意力机制，Meta 让大模型自动屏蔽任务无关信息，准确率提高 27%

图片地址：https://img.ithome.com/newsuploadfiles/2023/11/4268e758-470d-475d-9d4d-00c24c7b10b5.png?x-bce-process=image/format,f_auto

关于大模型注意力机制，Meta 又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠 Prompt 就能让大模型的准确率上升 27%。作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于 2002 年诺贝尔经济学奖得主丹尼尔・卡尼曼的畅销书《思考，快与慢》中提到的心理学概念 —— 双系统思维模式中的“系统 2”。所谓系统 2 是指复杂有意识的推理，与之相对的是系统 1，即简单无意识的直觉。S2A 通过提示词对 Transformer 中的注意力机制进行了“调节”，使模型整体上的思考方式更接近系统 2。有网友形容，这种机制像是给 AI 加了一层“护目镜”。此外，作者还在论文标题中说，不只是大模型，这种思维模式或许人类自己也需要学习。那么，这种方法具体是如何实现的呢？避免大模型被“误导”传统大模型常用的 Transformer