IT之家 11 月 17 日消息,来自新加坡南洋理工大学(NTU Singapore)的科研团队近日开发出了 DIRFA 工具,用户给一张图片以及音频内容,可以自动生成 3D 视频,并实现口型和声音的同步协调。DIRFA 的全称为 DIverse yet Realistic Facial Animations,训练了超过 6000 多人的 100 万个视频片段,音频片段来自一个名为 VoxCeleb2 数据集的开源数据库,并关联面部表情和头部运动。研究人员表示,DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用,因为它可以实现更复杂和逼真的虚拟助手和聊天机器人,从而改善用户体验。DIRFA 还可以作为言语或面部残疾人士的强大工具,帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感,从而增强他们的沟通能力。IT之家附上论文参考地址:Rongliang Wu, Yingchen Yu, Fangneng Zh
科学家开发 DIRFA:输入图片和音频,可生成说话视频
2023-11-17 11:25:37来源: IT之家
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- 苹果 iOS 18 支持紧急呼叫视频通话,将于今年秋季在美国上线2024-07-25 20:17:22
- TÜV莱茵举办音视频及终端消费电子产品欧美法规更新论坛2024-07-22 12:53:00
- 快手:每天有近208万色觉障碍用户在平台无障碍观看视频2024-07-22 14:17:45
- 7 月 25 日上市,比亚迪 2025 款宋 PLUS DM-i 预热视频公布:号称第五代 DM 技术首款 SUV2024-07-22 14:04:40
- 乔布斯 1983 年演讲视频流出:预言 3 年后个人电脑销量将超越汽车2024-07-18 23:07:07
- 消息称字节将于 7 月 19 日首次大范围公布文生图 / 视频等 AI 模型进展2024-07-17 10:48:46
- 苹果与谷歌合作,云端直接迁移照片 / 视频2024-07-11 18:44:12
- 【视频】8Gen3 + 自研电竞芯片,iQOO Neo9S Pro+ 上手体验2024-07-11 21:42:33
- 三星 Galaxy Buds3 耳机开箱视频曝光:耳机带柄设计、充电盒配透明顶盖2024-07-09 14:40:02
- 百度网盘 VR 版登陆苹果 Vision Pro:支持 4K 及全景视频2024-07-08 18:49:14