IT之家 3 月 31 日消息,Databricks 近日在推出了一款通用大语言模型 DBRX,号称是“目前最强开源 AI”,据称在各种基准测试中都超越了“市面上所有的开源模型”。IT之家从官方新闻稿中得知,DBRX 是一个基于 Transformer 的大语言模型,采用 MoE(Mixture of Experts)架构,具备 1320 亿个参数,并在 12T Token 的源数据上进行预训练。研究人员对这款模型进行测试,相较于市场上已有的 LLaMA2-70B、Mixtral、Grok-1 等开源模型,DBRX 在语言理解(MMLU)、程式设计(HumanEval)及数学逻辑(GSM8K)等基准测试上的表现较为突出。官方同时提到,DBRX 在上述 3 项基准测试中也超越了 OpenAI 的 GPT-3.5。Databricks AI 部分副总裁 Naveen Rao 向外媒 TechCrunch 透露,该公司花了两
Databricks 推出 1320 亿参数大语言模型 DBRX,号称“现阶段最强开源 AI”
2024-03-31 15:15:05来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 最高资助 1000 万元,深圳市宣布扶持重大开源项目商业发行版软件及芯片模组2024-04-29 20:39:47
- OS / 2 Museum 开发者盛赞微软开源 MS-DOS 4,但指出开源方式存在不足2024-04-28 07:31:50
- 十字路口的苹果:终将走向“开源”?2024-04-27 21:42:51
- 阿里巴巴开源 1100 亿参数 Qwen1.5-110B 模型,与 Meta Llama3-70B 相媲美2024-04-27 20:38:56
- 苹果连放4个开源“小模型”,跑分却不到微软Phi-3一半,不卷性能卷效率?2024-04-25 19:31:34
- 苹果AI终于来了!从2.7到30亿四款大模型代码全开源,AI技术持续“狂飙”|钛媒体AGI2024-04-25 09:18:09
- 苹果发布 OpenELM,基于开源训练和推理框架的高效语言模型2024-04-24 22:30:54
- Elektrobit 开源突破加速向软件定义出行转型2024-04-23 18:59:00
- 开源模型打败 GPT-4:LLM 竞技场最新战报,Cohere Command R + 上线2024-04-20 20:26:06
- 最强开源大模型来了,Meta推出开源大模型Llama 3,追赶GPT-42024-04-19 15:21:15