Transformer大模型在边缘侧落地可行吗？爱芯元智AX650N表示无压力

图片地址：http://upload.techweb.com.cn/imgs/2023/0531/1685497092878.png

【TechWeb】5月30日消息，ChatGPT成为史上增长最快的消费类应用。这背后，是ChatGPT代表的高阶人工智能表现对人们的冲击。ChatGPT使用的Transformer架构是以自监督的方式预训练的，作为基于GPT（Generative Pre-trained Transformer）预训练语言模型的消费类产品，ChatGPT的成功也让技术圈看到了Transformer的巨大潜力。越来越多AI研究领域（例如，CV（计算机视觉）领域）开始把自监督方式预训练的Transformer用在各大应用场景，以期待产生类似ChatGPT的智能涌现。然而Transformer模型往往需要巨大量的参数，才能出现所谓的“智能涌现”。因此，目前较为成功的GPT模型，大都是在“云端”进行训练和落地。但是可以预见的是，未来要想让GPT模型应用产品在消费级市场有广泛应用和发展，解决在端侧、边缘侧高效部署Transformer将是关键一环。专注研究