当前位置：首页 > 元宇宙 > AI

科学家开发 DIRFA：输入图片和音频，可生成说话视频

来源：责编：时间：2023-11-21 09:37:46 235观看

导读 11 月 17 日消息，来自新加坡南洋理工大学（NTU Singapore）的科研团队近日开发出了 DIRFA 工具，用户给一张图片以及音频内容，可以自动生成 3D 视频，并实现口型和声音的同步协调。DIRFA 的全称为 DIverse yet Realisti

11 月 17 日消息，来自新加坡南洋理工大学（NTU Singapore）的科研团队近日开发出了 DIRFA 工具，用户给一张图片以及音频内容，可以自动生成 3D 视频，并实现口型和声音的同步协调。

DIRFA 的全称为 DIverse yet Realistic Facial Animations，训练了超过 6000 多人的 100 万个视频片段，音频片段来自一个名为 VoxCeleb2 数据集的开源数据库，并关联面部表情和头部运动。

研究人员表示，DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用，因为它可以实现更复杂和逼真的虚拟助手和聊天机器人，从而改善用户体验。

DIRFA 还可以作为言语或面部残疾人士的强大工具，帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感，从而增强他们的沟通能力。

附上论文参考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu.Audio-driven talking face generation with diverse yet realistic facial animations.Pattern Recognition, 2023; 144: 109865 DOI:10.1016/j.patcog.2023.109865

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-2607-0.html科学家开发 DIRFA：输入图片和音频，可生成说话视频

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 27 亿参数，微软发布 Phi-2 模型：某些性能指标优于 Llama-2-7B

下一篇：谷歌将“水印”嵌入人工智能生成的音乐中，人耳无法察觉

标签：

热门焦点

数字虚拟人23年最新变化！

作者：小资来源：米塔之家自2021年元宇宙“爆炸”后，作为现实世界连接元宇宙的媒介之一，大批虚拟人跑步入场。到了2022年底，据天眼查数据显示，我国目前企业名称或经营范围
FMIFAwards奖项即将揭晓！

来源：X增强现实FMIF Awards未来元宇宙创新奖是由未来元宇宙创新论坛、ARinChina以及多家投资机构、媒体、研究院联合发起的一项评选活动。旨在推动新技术的融合与集成低成本
冰墩墩还能火多久？

作者：田巧云题图源自北京2022年冬奥会官方微博如果要问2022年的开年明星是谁，冰墩墩当仁不让。几乎所有人都被那个抖雪的动作实力圈粉。在社交媒体的助推，以及日
好莱坞：一股新的电影制作加密浪潮将颠覆这个行业

在Moviecoin.com平台上，有一部电影设定了一个前所未有的目标，即通过预售NFT获得100%的全额融资，这部电影就是马克·奥康纳(Mark O’connor)执导的《Oui Cannes》，
NFT世界的艺术家名单

我们汇编了以下艺术家的名单，它包括每个艺术家的简短概述。当然，这份名单肯定不全面，还有很多很多艺术家、哲学家和商业领袖为世界贡献了不可估量的价值。而他们
大厂打造元宇宙平台的业务重心是什么？

知名市场研究机构IDC发布《2022年中国元宇宙市场十大预测》报告，其中提出互联网大厂各自独立布局元宇宙平台。事实上，在2021年的最后一个季度，包括Meta、英伟达、
虚拟邓丽君后，数字人赛道开启3.0时代

“如果右脑时代来临，虚拟世界将是对人类才华的无限放大。” 郭晓喆称，开发数字人形象时，自己的团队在内部“卷”了一下：“当我们翻阅大量历史典籍的时候，苏小妹找到
这场虚拟发布会，当面“造假”！

英伟达去年4月份那场发布会，你曾看出什么不对劲的地方吗？你品，你细品——在计算机图形学顶会SIGGRAPH 2021上，英伟达通过一部纪录片自曝：那场发布会内藏玄机~你看到
我们离元宇宙的实现只差一副眼镜？

近日的苹果春季新品发布会，想必许多人都守在了屏幕前，就为等待传说中的首款AR Glass。在发布会之前，苹果全球营销主管Greg Joswiak曾在Twitter上分享了一段短视频