微比恩 > 信息聚合 > 是我创造了首个 LLM:Kaggle 前首席科学家一句话引发 AI 学术圈考古行动

是我创造了首个 LLM:Kaggle 前首席科学家一句话引发 AI 学术圈考古行动

2025-04-08 23:50:47来源: IT之家

论如何在技术圈争论中一句话噎到对方:哥们,是我创造了第一个大语言模型。发言者 Jeremy Howard 为澳大利亚昆士兰大学名誉教授、曾任 Kaggle 创始总裁和首席科学家,现 answer.ai与 fast.ai创始人。事情的起因是有人质疑他最近的项目 llms.txt在帮助大模型爬取互联网信息上并没太大作用,从而引发了这段争论,迅速引起众人围观。闻讯而来的“赛博考古学家们”一番考据之后,发现第一个大语言模型这个说法还真有理有据:2018 年初,Jeremy Howard 发表的论文 ULMFiT,使用非监督预训练-微调范式达到当时 NLP 领域的 SOTA。甚至 GPT-1 的一作 Alec Radford,在发表 GPT-1 时也公开承认过 ULMFiT 是灵感来源之一。有人搬出综述论文,指出从“遗传学”视角看,ULMFiT 是所有现代大模型“最后的共同祖先”。还有好事者软件工程师 Jonathon Belotti,专

关注公众号
标签: AI le