卷完参数后，大模型公司又盯上了“长文本”？

图片地址：https://images.tmtpost.com/uploads/images/2023/10/446ff419f8f3c9237e25bddfe7e59b02_1697107245.png

图片来源@视觉中国文 | 光锥智能，作者 | 郝鑫，编辑 | 刘雨琦4000到40万token，大模型正在以“肉眼可见”的速度越变越“长”。长文本能力似乎成为象征着大模型厂商出手的又一新“标配”。国外，OpenAI经过三次升级，GPT-3.5上下文输入长度从4千增长至1.6万token，GPT-4从8千增长至3.2万token（token：模型输入和输出的基本单位）；OpenAI最强竞争对手Anthropic一次性将上下文长度打到了10万token；LongLLaMA将上下文的长度扩展到25.6万token，甚至更多。国内，光锥智能获悉，大模型初创公司月之暗面发布智能助手产品Kimi Chat可支持输入20万汉字，按OpenAI的计算标准约为40万token；港中文贾佳亚团队联合MIT发布的新技术LongLoRA，可将7B模型的文本长度拓展到10万