3D 模型“换皮肤”有多简单？开源项目 Text2Mesh 一句话搞定

图片地址：https://img.ithome.com/newsuploadfiles/2021/12/d8326a69-1fd3-48ef-a866-5f4349075323.gif

给灰突突的 3D 模型加“新皮肤”，这事儿能有多简单？现在，只需要一句话就能搞定。一个普通小台灯，给个“Brick Lamp”的描述，瞬间变“砖块灯”：一匹灰色小马，加上“Astronaut Horse”，摇身一变就成了“宇航马”：操作简单不说，每一个角度上的细节和纹理也都呈现出来了。这就是用一个专门给 3D 物体“换皮肤”的模型 Text2Mesh做出来的，由芝加哥大学和特拉维夫大学联合打造。一句话给 3D 物体“换皮肤”Text2Mesh 模型的输入只需一个 3D Mesh（无论原始图像质量高低），外加一句文字描述。具体变换过程如下：输入的原始网格模型 mesh，顶点 V∈Rn×3，表面 F∈{1, . . . , n}m×3，它们在整个训练过程中固定不变。然后再构造一个神经风格（neural style）网络，为 mesh 每个顶点生成一个样式属性，后续好在整个表面上定义风格。具体来说，该网络将网格表面 p∈V 上的点映射