RLHF 再也不需要人类了！谷歌团队研究证明 AI 标注已达人类水平

图片地址：https://img.ithome.com/newsuploadfiles/2023/9/a8c70526-b877-4405-bd30-d9b897d955f8.png?x-bce-process=image/format,f_auto

【新智元导读】ChatGPT 横空出世后，RLHF 成为研究人员关注的焦点。谷歌最新研究提出，不用人类标注，AI 标注偏好后，也能取得与 RLHF 一样的效果。如果说，RLHF 中的「人类」被取代，可行吗？谷歌团队的最新研究提出了，用大模型替代人类，进行偏好标注，也就是 AI 反馈强化学习（RLAIF）。论文地址：https://arxiv.org/ abs / 2309.00267结果发现，RLAIF 可以在不依赖人类标注员的情况下，产生与 RLHF 相当的改进效果，胜率 50%。同时，谷歌研究再次证明了 RLAIF 和 RLHF，比起监督微调（SFT）胜率都超过了 70%。如今，大型语言模型训练中一个关键部分便是 RLHF。人类通过对 AI 输出的质量进行评级，让回应更加有用。但是，这需要付出很多的努力，包括让许多标注人员暴露在 AI 输出的有害内容中。既然 RLAIF 能够与 RLHF 相媲美，未来模型不需要人类反馈，也可