OpenAI 研究如何破解 GPT-4 思维,公开超级对齐团队工作,Ilya Sutskever也在作者名单之列。该研究提出了改进大规模训练稀疏自编码器的方法,并成功将 GPT-4 的内部表征解构为 1600 万个可理解的特征。由此,复杂语言模型的内部工作变得更加可理解。其实,早在 6 个月前,研究就已经开始进行了:OpenAI 将其公开后,前超级对齐团队成员、论文一作前来转发分享:我们引入了一种基于 TopK 激活函数的新稀疏自编码器训练技术栈,消除了特征缩减问题,并允许直接设置 L0。我们发现这种方法在均方误差 / L0 边界上表现良好。即使在 1600 万的规模下,也几乎没有失活的潜在单元(latent)。同样在坐着名单里的、此前在 OpenAI 超级对齐团队的 Ilya 同盟 Jan Leike(就是从 OpenAI 愤而离职刚刚加入 Anthropic 的 RLHF 发明者之一)也表示:这是一项重大的进步!稀疏自编码器
OpenAI 公开破解 GPT-4 思维的新方法,Ilya 也参与了
2024-06-07 23:03:51来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- Apple Intelligence 上线前,苹果宣布加入美国 AI 安全协议:OpenAI、亚马逊、谷歌、Meta、微…2024-07-26 20:02:51
- 董宇辉离任东方甄选;极狐起火厂家第一时间盖黑布;OpenAI 搜索引擎 SearchGPT 登场|Do早报2024-07-26 09:19:07
- OpenAI今年或亏50亿?AI泡沫论——a16z VS红杉,高盛VS大摩2024-07-26 08:13:00
- “灭霸”盯上了AI搜索,OpenAI发布SearchGPT2024-07-26 03:51:23
- 向英伟达发起挑战?OpenAI据称正与博通等公司接洽,研发AI芯片!2024-07-20 22:23:41
- 宗馥莉辞去娃哈哈职务;OpenAI 推出 GPT-4o mini;传百度新公关一号位确认为蒋昕捷|Do早报2024-07-19 09:00:57
- 盖茨盛赞,OpenAI大神创业,奉上一份AI教育“藏宝图”2024-07-19 11:48:00
- OpenAI 迈步 7 万亿美元芯片帝国目标,已接触博通等公司开发全新 AI 芯片2024-07-19 06:50:29
- 前OpenAI创始成员Andrej Karpathy创办了一家AI教育公司,让AI当80亿人的老师 | 最前线2024-07-17 15:56:26
- OpenAI营收拆解:84%来自近1000万名ChatGPT付费用户,API仅占15%2024-07-17 13:10:18