为超越人类记忆，他们给ChatGPT配上了小抄

图片地址：https://images.tmtpost.com/uploads/images/2024/04/23e8e3926e1947840d9eabe23d8f1b0d_1712918875.jpeg

文 | 追问nextquestion“读书破万卷，下笔如有神。”这一古语在现代大模型的训练过程中有了更为清晰的诠释。在足够多的训练数据基础上，AI在诸多任务上已获得了比肩人类的表现。为了方便理解，一种观点将大模型拟人化，认为大模型也与人类一样，拥有记忆，甚至拥有相似的记忆模式和机制。然而，正如不应简单将飞机类比为铁鸟，人类记忆从产生到提取的过程，都与基于上下文预测下一个词的语言模型有着本质的区别。不过，对人类记忆的研究为我们理解大型模型的记忆机制提供了一个出发点。人类记忆分为长期记忆和短期记忆（又称工作记忆）。对于大型模型而言，其“长期记忆”存储在模型的亿万参数中，短期记忆则体现为模型一次对话中可回忆起的上下文长度的context。例如GPT-4的context是128k，这相当于可一次性输入10万汉字左右。但这种类比真的有效吗？大语言模型与人类记忆有何异同？我们又该如何