ChatGPT 有多烧钱？大模型训练一次 200-1200 万美元

图片地址：https://img.ithome.com/newsuploadfiles/2023/2/d9ef2fa1-f8d0-4164-801a-17e0ce2b95d4.jpg?x-bce-process=image/format,f_auto

IT之家 2 月 19 日消息，ChatGPT 风靡全球后，科技巨头们纷纷入局，生成式 AI 其背后以大模型为基础的人工智能成为业界投入的方向。IT之家了解到，所谓“大模型”，通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。然而，训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT 需要多少算力》估算，GPT-3 训练一次的成本约为 140 万美元，对于一些更大的 LLM（大型语言模型），训练成本介于 200 万美元至 1200 万美元之间。以 ChatGPT 在 1 月的独立访客平均数 1300 万计算，其对应芯片需求为 3 万多片英伟达 A100 GPU，初始投入成本约为 8 亿美元，每日电费在 5 万美元左右。如果将当前的 ChatGPT 部署到谷歌进行的每次搜索中，需要 512820.51 台 A1