ChatGPT 低成本复现流程开源，任意单张消费级显卡可体验，显存需求低至 1.62 GB

图片地址：https://img.ithome.com/newsuploadfiles/2023/2/7ce7071a-fa8a-4590-ba3f-968aecc8a34f.gif

首个开源的 ChatGPT 低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小 demo 训练流程仅需 1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升 10.3 倍。相比原生 PyTorch，单机训练速度最高可提升 7.73 倍，单卡推理速度提升 1.42 倍，仅需一行代码即可调用。对于微调任务，可最多提升单卡的微调模型容量 3.7 倍，同时保持高速运行，同样仅需一行代码。要知道，ChatGPT 火是真的火，复现也是真的难。毕竟 ChatGPT 是不开源的，市面上至今没有开源预训练权重、完全开源的低成本训练流程，而且千亿级别大模型的训练本身就是个难题。但 ChatGPT 军备赛已经愈演愈烈，为了抓住趋势，如谷歌等都在打造对标竞品。快速复现 ChatGPT 是应趋势所需。开源加速方案 Colossal-AI正是为此而来。并且在提供开源完整复现流程的同时，把成本降了下来！开源地址：http