可协助 AI 语言模型改善自我纠错能力，谷歌推出 BIG-Bench Mistake 数据集

图片地址：https://img.ithome.com/newsuploadfiles/2024/1/5ae2f028-7501-41f6-b5fd-1639230377d6.png?x-bce-process=image/watermark,image_aW1nL3dhdGVybWFyay9xYy9xYzEyMy5wbmc=,t_100,g_3,y_22,x_22,a_0/format,f_auto

IT之家 1 月 15 日消息，谷歌研究院日前使用自家 BIG-Bench 基准测试建立了一项“BIG-Bench Mistake”数据集，并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。谷歌研究人员表示，由于过去没有能够评估大语言模型“出错概率”及“自我纠错能力”的数据集，因此他们创建了一项名为“BIG-Bench Mistake”的专用基准数据集用于评估测试。据悉，研究人员首先使用 PaLM 语言模型在自家 BIG-Bench 基准测试任务中运行了 5 项任务，之后将生成的“思维链（Chain-of-Thought）”轨迹修改加入“逻辑错误”部分，之后重新丢给模型判断思维链轨迹中哪些地方存在错误。为了提升数据集准确程度，谷歌研究人员反复进行上述过程，最终形成了一项内含“255 项逻辑错误”的“BIG-Bench Mistake”专用基准数据集。研究人员提到，由于“BI