让 ChatGPT 调用 10 万 + 开源 AI 模型，HuggingFace 新功能爆火：大模型可随取随用多模态 A…

图片地址：https://img.ithome.com/newsuploadfiles/2023/5/dee9f1df-2865-4395-be4f-4d553b69366e.png?x-bce-process=image/format,f_auto

只需和 ChatGPT 聊聊天，它就能帮你调用 10 万 + 个 HuggingFace 模型！这是抱抱脸最新上线的功能 HuggingFace Transformers Agents，一经推出就获得极大关注：这个功能，相当于给 ChatGPT 等大模型配备了“多模态”能力 ——不限于文本，而是图像、语音、文档等任何多模态任务都能解决。例如告诉 ChatGPT“解释这张图像”，并扔给它一张海狸照片。ChatGPT 就能调用图像解释器，输出“海狸正在水里游泳”：随后，ChatGPT 再调用文字转语音，分分钟就能把这句话读出来：当然，它不仅支持 ChatGPT 在内的 OpenAI 大模型，也支持 OpenAssistant 等免费大模型。Transformer Agent 负责“教会”这些大模型直接调用 Hugging Face 上的任意 AI 模型，并输出处理好的结果。所以这个新上线的功能，背后的原理究竟是什么？如何让大模型“指