ChatGPT 怎么突然变得这么强，博士万字长文深度拆解 GPT-3.5 能力起源

图片地址：https://img.ithome.com/newsuploadfiles/2022/12/abe5b4f9-d6a8-490c-bbea-776f56506cd6.jpg?x-bce-process=image/format,f_auto

ChatGPT 是如何从 GPT-3 逐渐进化的？最近 OpenAI 发布的 ChatGPT 给人工智能领域注入了一针强心剂，其强大的能力远超自然语言处理研究者们的预期。体验过 ChatGPT 的用户很自然地就会提出疑问：初代 GPT 3 是如何进化成 ChatGPT 的？GPT 3.5 惊人的语言能力又来自哪？最近来自艾伦人工智能研究所的研究人员撰写了一篇文章，试图剖析 ChatGPT 的突现能力（Emergent Ability），并追溯这些能力的来源，并给出了一个全面的技术路线图以说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。原文链接：https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756 作者符尧是 2020 年入学的爱丁堡大学博士生，硕士毕业于哥伦比亚大学，本科毕业于北京大学，目前在艾伦人工智