ChatGPT 变笨新解释：世界被 AI 改变，与训练时不同了

图片地址：https://img.ithome.com/newsuploadfiles/2024/1/74127c50-095c-45e9-9eac-11327aac01f6.png?x-bce-process=image/format,f_auto

对于 ChatGPT 变笨原因，学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出：在训练数据截止之前的任务上，大模型表现明显更好。论文重点研究了“任务污染”问题，也就是大模型在训练时期就见识过很多任务示例，给人一种 AI 拥有零样本或少样本能力的错误印象。也有学者从另一个角度指出，大模型训练后参数冻结，人们不断提出新的任务也就是输入分布不断变化。如果模型不能不断适应这种变化，就表现成能力慢慢退化。人们以为只提了个问题 AI 就能回答，其实是在训练时见过大多数常见任务。随时间推移，人们开始提出更多新问题，AI 表现就不行了。比如对于代码问题，编程语言还在持续发展变化，迟早有一天效率会低到不可接受。这是所有不具备持续学习能力模型的命运。任务污染有多严重？研究团队一共评估了 12 种模型，从 ChatGPT 之前的 GPT-3 系列、OPT、Bloom，到最新的 GPT-3.5-turbo、羊驼家族 Llama、Alpaca