英伟达推出“超级缝合体”PoE GAN，输入文字草图语义图都能生成逼真照片

图片地址：https://img.ithome.com/newsuploadfiles/2021/12/53d90976-026f-4d71-b8a4-2fc51568620f.gif

继 GauGAN2 之后，英伟达推出了一个 GAN 的“超级缝合体”——PoE GAN。PoE GAN 可以接受多种模态的输入，文字描述、图像分割、草图、风格都可以转化为图片。而且它可以同时接受以上几种输入模态的任意两种组合，这便是 PoE 的含义。所谓 PoE 是 Hinton 在 2002 年提出的“专家乘积”（product of experts）概念，每个专家（单独模型）被定义为输入空间上的一个概率模型。而每种单独的输入模态都是合成图像必须满足的约束条件，因此满足所有约束的一组图像是满足每个约束集合的交集。假设每种约束的联合条件概率分布都服从高斯分布，就用单条件概率分布的乘积来表述交集的分布。在此条件下，为了使乘积分布在一个区域具有高密度，每个单独的分布需要在该区域具有高密度，从而满足每个约束。而 PoE GAN 的重点是如何将每种输入混合在一起。PoE GAN 的设计PoE GAN 的生成器使用全局 PoE-Net 将