IT之家 11 月 17 日消息,来自新加坡南洋理工大学(NTU Singapore)的科研团队近日开发出了 DIRFA 工具,用户给一张图片以及音频内容,可以自动生成 3D 视频,并实现口型和声音的同步协调。DIRFA 的全称为 DIverse yet Realistic Facial Animations,训练了超过 6000 多人的 100 万个视频片段,音频片段来自一个名为 VoxCeleb2 数据集的开源数据库,并关联面部表情和头部运动。研究人员表示,DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用,因为它可以实现更复杂和逼真的虚拟助手和聊天机器人,从而改善用户体验。DIRFA 还可以作为言语或面部残疾人士的强大工具,帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感,从而增强他们的沟通能力。IT之家附上论文参考地址:Rongliang Wu, Yingchen Yu, Fangneng Zh
科学家开发 DIRFA:输入图片和音频,可生成说话视频
2023-11-17 11:25:37来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- NASA 发布模拟视频,带你体验坠入黑洞之旅2024-05-07 18:33:52
- YouTube 推出“跳转至精彩部分”实验性功能:AI 预测用户想看内容,跳转视频最佳部分2024-05-06 16:11:48
- 钛媒体独家|智谱AI 正研发对标Sora的国产文生视频模型,最快年内发布2024-05-06 09:14:54
- 2024,长视频拼什么?2024-05-06 09:37:15
- 特斯拉分享第二代 Optimus 机器人工作视频:可将电池精确插入托盘2024-05-05 18:31:06
- 慷智 20Gbps 车载高清视频传输芯片成功点亮:22nm 工艺、年底提供样片2024-05-04 08:55:54
- 获利超 700 万元,一程序员开发网络视频“非法搬运”软件被判 3 年有期徒刑2024-05-04 09:42:26
- AMD 庆祝成立 55 周年,用 Ryzen AI 修复旧图片和视频:黄仁勋出镜2024-05-03 15:45:52
- 华为公布乾崑智慧屏显功能细节:可将 720P 视频升级 2K 超高清画面2024-05-02 08:06:24
- 华为公布车载乾崑智慧屏功能细节:720P视频秒变2K超高清2024-05-02 11:44:54