IT之家 4 月 27 日消息,阿里巴巴日前宣布,开源 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B,该模型在基础能力评估中与 Meta-Llama3-70B 相媲美,在 Chat 评估中表现出色,包括 MT-Bench 和 AlpacaEval 2.0。IT之家汇总主要内容:据介绍,Qwen1.5-110B 与其他 Qwen1.5 模型相似,采用了相同的 Transformer 解码器架构。它包含了分组查询注意力(GQA),在模型推理时更加高效。该模型支持 32K tokens 的上下文长度,同时它仍然是多语言的,支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。阿里 Qwen1.5-110B 模型与最近的 SOTA 语言模型 Meta-Llama3-70B 以及 Mixtral-8x22B 进行了比较,结果如下:上述结果显示,新的 110B 模型在基础能力方面至少与 Llama-3-70B 模型相媲美。
阿里巴巴开源 1100 亿参数 Qwen1.5-110B 模型,与 Meta Llama3-70B 相媲美
2024-04-27 20:38:56来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 阿里云发布通义千问2.5,赶超GPT-4,千问110B成为全球最强开源大模型2024-05-09 23:09:43
- 阿里云通义千问 2.5 大模型发布,号称“多项能力赶超 GPT-4”2024-05-09 11:18:49
- 完全采用纯国产软硬件构建,华中科技大学开源镜像站开放访问2024-05-09 11:41:00
- 阿里巴巴杭州全球总部 5 月 10 日投入使用2024-05-07 09:57:00
- 消息称阿里重启淘宝网页版,618 取消预售2024-05-06 16:32:46
- 前 Oculus CTO:Meta 不会推出廉价 VR 头显,现款 Quest 产品线已是“成本价”2024-05-05 14:00:26
- 开源编程语言 R 曝光存在 8.8 分代码执行漏洞 CVE-2024-27322,可引发供应链攻击2024-05-04 14:37:16
- Meta Quest 3 独占,VR 游戏《蝙蝠侠:阿卡姆之影》正式公开2024-05-02 15:03:17
- Meta Quest v65 更新再次“借鉴”苹果功能,可导入 iPhone 全景照片2024-05-01 16:25:19
- 8TB 容量 + 至高 50MB/s下载:阿里云盘超级会员 119 元 / 年五一大促2024-05-01 13:31:30
- 12024 款华为 MateBook 14 笔记本海外发布:2.8K OLED 触控屏、支持 M-Pencil 手写笔
- 2科技昨夜今晨 0508:特斯拉或启动新一轮裁员;淘宝网页版宣布完成重要升级;8999 元起,2024 款苹果 iPad …
- 3提供工业AI生成式设计软件,「设序科技」完成近亿元A+轮融资|融资首发
- 4“瑞初医药”完成上亿元Pre-A轮融资
- 52024 款苹果 iPad Pro / Air 电池容量调整,但续航时间仍为 10 小时
- 6“中腾微网”完成近亿元B轮融资
- 7爱玛科技在江苏成立新能源科技公司 注册资本1亿
- 8【一图知】一图立懂苹果“放飞吧”发布会 2024 款 iPad Pro / Air 平板电脑
- 9宁德时代子公司等成立品牌管理公司 注册资本5000万
- 10不响不辍|第18届中国投资年会·年度峰会在沪召开