微比恩 > 信息聚合 > 一句话解锁 100k + 上下文大模型真实力,27 分涨到 98,GPT-4、Claude2.1 适用

一句话解锁 100k + 上下文大模型真实力,27 分涨到 98,GPT-4、Claude2.1 适用

2023-12-11 14:30:01来源: IT之家

各家大模型纷纷卷起上下文窗口,Llama-1 时标配还是 2k,现在不超过 100k 的已经不好意思出门了。然鹅一项极限测试却发现,大部分人用法都不对,没发挥出 AI 应有的实力。AI 真的能从几十万字中准确找到关键事实吗?颜色越红代表 AI 犯的错越多。默认情况下,GPT-4-128k 和最新发布的 Claude2.1-200k 成绩都不太理想。但 Claude 团队了解情况后,给出超简单解决办法,增加一句话,直接把成绩从 27% 提升到 98%。只不过这句话不是加在用户提问上的,而是让 AI 在回复的开头先说:“Here is the most relevant sentence in the context:”(这就是上下文中最相关的句子:)让大模型大海捞针为了做这项测试,作者 Greg Kamradt 自掏腰包花费了至少 150 美元。好在测试 Claude2.1 时,Anthropic 伸出援手给他提供了免费额度,不然

关注公众号
标签: 大模型