OpenAI 创始大神手搓千行 C 代码训练 GPT，附 PyTorch 迁移教程

图片地址：https://img.ithome.com/newsuploadfiles/2024/4/84630cec-bd54-424a-8a35-0021f17d4565.png?x-bce-process=image/format,f_auto

大神卡帕西（Andrej Karpathy）刚“复工”，立马带来神作：纯 C 语言训练 GPT，1000 行代码搞定！，不用现成的深度学习框架，纯手搓。发布仅几个小时，已经揽星 2.3k。它可以立即编译和运行，和 PyTorch 完全兼容。卡帕西使用的示例是 GPT-2，但 Llama 2 和 Gemma 等也适用。项目发布后，他还给出了从 PyTorch 迁移到 C 的教程。网友们直呼：他甚至都不用 C++……而且就连怎么让大模型如法炮制的提示词，他也放了出来。现在已经有人在用 Devin 尝试 ing。手动实现每个层前向 / 反向传播选择用 GPT-2 的原因很简单，有模型权重，采用了堆栈式的 Transformer 模型结构。项目核心的重点包括：直接在 C / CUDA 上训练 LLM，速度接近 PyTorch通过在 CPU 版本中使用 SIMD 指令（如 AVX2 和 NEON）聊加速 CPU 版本支持更先进的架构，比如