训练 CV 模型新思路来了：用 NLP 大火的 Prompt 替代微调，性能全面提升

图片地址：https://img.ithome.com/newsuploadfiles/2022/3/157418b7-dc94-4d35-8695-11de328555f6.png

Prompt tuning，作为 NLP 领域中的一个“新宠”，甚至曾被学者誉为 NLP 预训练新范式。那么，它能否借鉴到 CV 领域并产生同样的成绩呢？现在，来自康奈尔大学和 Meta AI 等机构，通过 Prompt 来调整基于 Transformer 的视觉模型，结果发现：完全可以！比起全面微调，Prompt 性能提升显著。无论模型的规模和训练数据怎么变，24 种情况中有 20 种都完全胜出。与此同时，它还能大幅降低每项任务所需的存储成本。只使用不到 1% 的模型参数大家一贯使用的全面微调（full fine-tuning），需要为每个下游任务存储和部署单独的主干参数副本，成本太高，尤其是现在基于 Transformer 的模型越来越大，已经超过 CNN 架构。所谓 Prompt，最初指的是在输入文本中预编语言指令，以便预培训的语言模型后续可以直接理解各种下游任务。它曾让 GPT-3 即使在少样本或零样本的情况下表现出很强