ChatGPT 惨遭攻击,参数规模终于被扒出来了 —— 很可能只有 7B(70 亿)。消息来自南加州大学最新研究,他们使用一种攻击方法,花费不到 1000 美元就把最新版 gpt-3.5-turbo 模型的机密给挖了出来。果然,OpenAI 不 Open,自有别人帮他们 Open。具体来说,南加大团队三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量维度(embedding size)为 4096 或 4608。而几乎所有已知的开源大模型如 Llama 和 Mistral,嵌入向量维度 4096 的时候都是约 7B 参数规模。其它比例的话,就会造成网络过宽或过窄,已被证明对模型性能不利。因此南加大团队指出,可以推测 gpt-3.5-turbo 的参数规模也在 7B 左右,除非是 MoE 架构可能不同。数月前,曾有微软 CODEFUSION 论文意外泄露当时 GPT-3.5 模型参数为 20B,在后续论文版本中又删除了
ChatGPT 参数规模被扒:只有 7B
2024-03-17 15:41:32来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- Nothing 推出集成了 ChatGPT 的 Ear 和 Ear (a)2024-04-22 09:58:00
- 融合 ChatGPT+DALL・E 3,贾佳亚团队新作开源畅玩:识图推理生图一站解决2024-04-15 16:07:17
- ChatGPT一年电费高达2亿元,AI 为何如此耗电?| 钛媒体AGI深度2024-04-14 08:04:27
- OpenAI 阿尔特曼投资 AI 智能胸针遭差评,ChatGPT 版 iPhone 上市即翻车2024-04-13 20:38:19
- OpenAI奥特曼据悉向大型企业推介企业版ChatGPT,其中包括微软客户2024-04-12 20:53:50
- OpenAI 举办推介会,阿尔特曼承诺不用 API 收集的数据训练未来 ChatGPT 版本2024-04-13 09:16:54
- 为超越人类记忆,他们给ChatGPT配上了小抄2024-04-12 18:47:51
- 「免登录」挤爆ChatGPT,百度文心一言们会跟进吗?2024-04-04 12:58:52
- 号称“音乐 ChatGPT 时刻”来临,天工 SkyMusic 音乐生成大模型今日邀测2024-04-02 14:31:44
- ChatGPT 也在评审你的顶会投稿,斯坦福新研究捅了马蜂窝2024-04-02 17:44:14
- 1创力集团等成立煤机智能装备公司 注册资本6000万
- 2依托于“天通一号”,比亚迪与中国电信联合推出汽车直连卫星业务
- 3用回iPhone 5c后,我怀念起那个把塑料做出高端感的时代
- 4雷军、谷歌、联想、甲骨文……F1 为什么成了科技圈春晚?
- 5安踏0碳使命店开幕;VICUTU威可多30周年品牌升级首倡“正装全场景”;太平鸟品牌VI升级;方里官宣梅耶·马斯克|消…
- 6全文|微软Q3业绩会实录:有信心将投资转化为未来的第二次成功
- 7中国神华建投能源等成立发电公司 注册资本15亿
- 8射击游戏《逃离塔科夫》推出 The Unheard 版:专属 PvE 模式,250 美元
- 9消息称 OPPO XR 探索暂停,转向 AI Device、机器人
- 10中石油昆仑资本等成立创投基金 出资额20亿