文 | 追问nextquestion“读书破万卷,下笔如有神。”这一古语在现代大模型的训练过程中有了更为清晰的诠释。在足够多的训练数据基础上,AI在诸多任务上已获得了比肩人类的表现。为了方便理解,一种观点将大模型拟人化,认为大模型也与人类一样,拥有记忆,甚至拥有相似的记忆模式和机制。然而,正如不应简单将飞机类比为铁鸟,人类记忆从产生到提取的过程,都与基于上下文预测下一个词的语言模型有着本质的区别。不过,对人类记忆的研究为我们理解大型模型的记忆机制提供了一个出发点。人类记忆分为长期记忆和短期记忆(又称工作记忆)。对于大型模型而言,其“长期记忆”存储在模型的亿万参数中,短期记忆则体现为模型一次对话中可回忆起的上下文长度的context。例如GPT-4的context是128k,这相当于可一次性输入10万汉字左右。但这种类比真的有效吗?大语言模型与人类记忆有何异同?我们又该如何
为超越人类记忆,他们给ChatGPT配上了小抄
2024-04-12 18:47:51来源: 钛媒体
关注公众号
赞
你的鼓励是对作者的最大支持
- 因生成错误信息,ChatGPT 在奥地利遭投诉2024-04-29 14:42:03
- Nothing 推出集成了 ChatGPT 的 Ear 和 Ear (a)2024-04-22 09:58:00
- 融合 ChatGPT+DALL・E 3,贾佳亚团队新作开源畅玩:识图推理生图一站解决2024-04-15 16:07:17
- ChatGPT一年电费高达2亿元,AI 为何如此耗电?| 钛媒体AGI深度2024-04-14 08:04:27
- OpenAI 阿尔特曼投资 AI 智能胸针遭差评,ChatGPT 版 iPhone 上市即翻车2024-04-13 20:38:19
- OpenAI奥特曼据悉向大型企业推介企业版ChatGPT,其中包括微软客户2024-04-12 20:53:50
- OpenAI 举办推介会,阿尔特曼承诺不用 API 收集的数据训练未来 ChatGPT 版本2024-04-13 09:16:54
- 「免登录」挤爆ChatGPT,百度文心一言们会跟进吗?2024-04-04 12:58:52
- 号称“音乐 ChatGPT 时刻”来临,天工 SkyMusic 音乐生成大模型今日邀测2024-04-02 14:31:44
- ChatGPT 也在评审你的顶会投稿,斯坦福新研究捅了马蜂窝2024-04-02 17:44:14
- 1IBM助客户赢得中国信通院"可信AI案例"奖
- 2朱华荣:要培养长安汽车的“雷布斯”“余大嘴”,车市面临机遇远大于挑战
- 3三七互娱:一季度净利润6.16亿元,同比下降20.45%
- 4“全国老字号产业投资基金”有望近期设立
- 5洛阳钼业:一季度净利润20.72亿元,同比增长553.28%
- 6绝味食品:2023年净利润3.44亿元,同比增长46.63%
- 7工商银行:一季度净利润876.5亿元,同比减少2.78%
- 8医疗健康行业周报 | 「月泉仿生」再获千万元天使+轮融资;数字化口腔健康品牌「Oclean欧可林」获1亿元C轮融资
- 9宁德时代获北向资金净买入8.48亿元
- 10机构今日买入安集科技等13股,抛售中孚实业1.32亿元