华人团队爆火 InstructBLIP 抢跑看图聊天，开源项目横扫多项 SOTA

图片地址：https://img.ithome.com/newsuploadfiles/2023/5/a8efcde5-1301-41f4-adc4-7645cc9d4445.png?x-bce-process=image/format,f_auto

原文标题：《超越 GPT-4！华人团队爆火 InstructBLIP 抢跑看图聊天，开源项目横扫多项 SOTA》碾压 GPT-4 识图能力的多模态生成模型来了。华人团队最新提出的 InstructBLIP 在多项任务上实现 SOTA。GPT-4 看图聊天还没上线，就已经被超越了。近来，华人团队开源了多模态基础模型 InstructBLIP，是从 BLIP2 模型微调而来的模型。BLIP 家族中增加了一个新成员：InstructBLIP据介绍，InstructBLIP 模型更擅长「看」、「推理」和「说」，即能够对复杂图像进行理解、推理、描述，还支持多轮对话等。比如，下图这一场景可能发生了什么？InstructBLIP 推理出，可能飓风，或者恶劣的天气因素造成的。给我介绍下这幅画进行多轮对话研究人员表示，正是基于强大 BLIP-2，才使得 InstructBLIP「看」的更好。最最重要的是，InstructBLIP 在多个任务上实现