甲骨易AI 研究院“超越”中文大模型测试集正式发布

图片地址：http://s1.techweb.com.cn/static/img/20180614.png

【TechWeb】5月22日消息，近期中文大语言模型蓬勃发展，但却一直少有出现可应用于评测 ”大模型能力“ 的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配“测试中文大模型”的数据集，并将其命名为“超越”，MMCU(Massive Multitask Chinese Understanding)。 5月20日，甲骨易AI研究院 “超越”中文大模型测试集正式发布。据介绍，“超越” 的意义是希望中文大语言模型 “超” 出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其 “越” 来越强大。 这里“超”和“越”要单独来理解，并不是超越别人的意思。甲骨易AI研究院首席研究员Felix透露，4月推出了MMCU的测试集