IT之家 4 月 19 日消息,微软亚洲研究院(Microsoft Research Asia)近日发表论文,介绍了全新的 VASA-1 模型,用户只需要提供一张静态肖像图片和一段语音音频片段,该模型就能自动让图片中的人物自动说话。VASA-1 特别有趣的地方在于,它能够模拟自然的面部表情、各种情绪和唇部同步,最重要的是几乎没有人工痕迹,如果不细看很难发现。研究人员承认,与所有其他模型一样,该模型目前还无法妥善处理头发等非刚性元素,但整体效果要比其它同类模型要更为优秀。研究人员还表示 VASA-1 支持离线 batch 处理模式下,以 45fps 生成分辨率为 512*512 的动态短视频,在线直播模式下可以达到 40 fps,且延迟仅为 170ms。而且整个生成操作只需要一台配备英伟达 RTX 4090 显卡的电脑上就能处理。IT之家附上参考地址New VASA-1 model by Microsoft Research As
让蒙娜丽莎唱饶舌,微软发布 VASA-1 模型:图 + 音频可生成短视频
2024-04-19 10:57:00来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 《古墓丽影:决定版》领衔,5 月上旬微软 XGP 新增游戏阵容公布2024-04-30 23:01:54
- 微软宣布 6 月 10 日凌晨 1 点举行“Xbox Games Showcase 及 █████ Direct 直面会”2024-04-30 23:29:34
- 微软宣布将在印尼投资 17 亿美元,大力发展人工智能和云计算2024-04-30 19:19:10
- Axel Springer 和微软扩大在广告、人工智能、内容和 Azure 服务的合作关系2024-04-29 23:00:00
- 微软 Surface Laptop 6 消费者版规格泄露:双版本高通骁龙 X Elite 芯片、8GB RAM 起步2024-04-29 23:20:35
- 微软 Win11 Build 26200 隐含硬件检测工具 AI Explorer,PC 性能未达标将在桌面显示水印2024-04-28 15:23:01
- 中世纪风策略游戏《庄园领主》正开发微软 Xbox 主机版本,有望支持 XPA 跨平台游玩2024-04-28 16:04:19
- OS / 2 Museum 开发者盛赞微软开源 MS-DOS 4,但指出开源方式存在不足2024-04-28 07:31:50
- 微软 Surface Laptop 4/5 获固件更新:修复音频、充电等问题2024-04-28 08:16:09
- 微软 Edge 浏览器 124 版本已修复自动安装 8KB Copilot 应用的 Bug2024-04-27 18:26:01