IT之家 4 月 24 日消息,在 WWDC24 之前,苹果在 Hugging Face平台上发布了一个“具有开源训练和推理框架的高效语言模型”,名为 OpenELM。当然,这是一项开源语言模型,其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。IT之家将官方简介翻译如下:大型语言模型的可重复性和透明性对于推进开放研究、确保结果的可信度以及调查数据和模型偏差以及潜在风险至关重要。为此,我们发布了 OpenELM,一个最先进的开源语言模型。OpenELM 使用分层缩放策略,可以有效地分配 Transformer 模型每一层的参数,从而提高准确率。例如,在参数量约为 10 亿的情况下,OpenELM 与 OLMo 相比准确率提升了 2.36%,同时所需的预训练 tokens 数量仅有原来的 50%。与以往只提供模型权重和推理代码并在私有数据集上进行预训练的做法不同,我们发布的版本包含了在公开数据
苹果发布 OpenELM,基于开源训练和推理框架的高效语言模型
2024-04-24 22:30:54来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 新款春风 800NK 摩托上市:支持苹果 CarPlay、搭载博世 TC 系统,售 44980 元起2024-05-04 09:22:32
- 消息称苹果 Vision 标准版头显今年 10 月定型,有望明年 6 月发布2024-05-04 09:37:54
- 苹果 iPhone 16 / Pro 系列机模再曝光,MagSafe 环变薄2024-05-04 15:05:12
- 一季度仅欧洲市场收入增长,苹果抛出1100亿美元“安抚”投资者2024-05-03 10:46:59
- 第 1 季度全球手机报告:TOP5 中苹果平均价格最高、三星出货量最大、小米增长最快2024-05-03 15:00:30
- 苹果2024财年Q2营收超预期 将回购额外1100亿美元股票2024-05-03 17:35:23
- “放飞吧”新品发布会临近,消息称苹果 CEO 库克将同时预告全新 AI 功能2024-05-02 21:14:13
- 苹果确认欧盟的 iPad 今年秋季支持应用侧载、第三方浏览器引擎2024-05-02 23:49:22
- 苹果公布 24Q1 财报:营收 907.5 亿美元,同比下降 4%;大中华区营收 163.7 亿美元,同比下降 8.1%2024-05-03 06:27:14
- 库克再谈生成式 AI:苹果紧抓发展机遇,具备与众不同的优势2024-05-03 06:46:24
- 1我国启动新一代天气雷达多观测模式业务试运行
- 2三星印度发布 128GB 版 Galaxy S24 手机,起售价 69999 卢比
- 3大撕裂会发生吗?它能撕裂黑洞吗?
- 4谷歌晒 Passkey 成绩:上线不到 1 年,4 亿账号使用超 10 亿次
- 5微软修复 Win11 文件管理器选项卡不兼容“登录时还原”问题
- 6育碧官宣 5 月 21 日发行《不羁联盟》FPS 游戏
- 7谷歌 Pixel 8a 手机宣传物料再曝光:4 种颜色、7 年更新、主打 AI 功能
- 8继印尼之后,微软宣布将在马来西亚投资 22 亿美元用于云计算和 AI
- 9岚图汽车官宣新一代全栈自研智能座舱,搭载全球首款 OLED 滑移曲面屏
- 10微软将在马来西亚投资22亿美元用于云计算和人工智能技术。