清华 &哈佛团队推出 LangSplat：更准确描述 3D 场景、比 LERF 快 199 倍

图片地址：https://img.ithome.com/newsuploadfiles/2024/1/aa7b04b5-d5f2-47f5-9718-66614b69c946.png?x-bce-process=image/format,f_auto

IT之家 1 月 2 日消息，清华大学携手哈佛大学，共同开发了名为 LangSplat 的全新 AI 系统，能够在三维空间内高效、准确地搜索开放式词汇。LangSplat 是第一个基于 3DGS 的 3D 语言场方法，特别引入了 SAM 和 CLIP，在开放词汇 3D 对象定位和语义分割任务上优于最先进的方法，同时比 LERF 快 199 倍。加州大学伯克利分校的研究人员于 2023 年 3 月展示了语言嵌入式辐射场（LERF），将语言嵌入从现成模型（如 CLIP）嵌入到 NeRF 中，从而在不需要专门培训的情况下，在三维环境中准确识别物体。例如在书店的 NeRF 环境中，用户可以用自然语言搜索特定的书名。这项技术还可用于机器人技术、模拟机器人的视觉训练以及人类与三维世界的互动。不过 LERF 的短板在于不适合实时搜索，且搜索结果准确率低。LangSplat 为了解决这个短板，使用 3D Gaussians 构建 3D 语言场，