当前位置：首页 > 元宇宙 > AI

输入配音文件即可生成人物对话场景，Meta 公布 audio2photoreal AI 框架

来源：责编：时间：2024-01-15 09:17:53 166观看

导读 1 月 9 日消息，Meta 日前公布了一项名为audio2photoreal 的 AI 框架，该框架能够生成一系列逼真的 NPC 人物模型，并借助现有配音文件自动为人物模型“对口型”“摆动作”。▲ 图源 Meta 研究报告（下同）从官方研究报

1 月 9 日消息，Meta 日前公布了一项名为audio2photoreal 的 AI 框架，该框架能够生成一系列逼真的 NPC 人物模型，并借助现有配音文件自动为人物模型“对口型”“摆动作”。

▲ 图源 Meta 研究报告（下同）

从官方研究报告中得知，Audio2photoreal 框架在接收到配音文件后，首先生成一系列 NPC模型，之后利用量化技术及扩散算法生成模型用动作，其中量化技术为框架提供动作样本参考、扩散算法用于改善框架生成的人物动作效果。

研究人员提到，该框架可以生成 30 FPS的“高质量动作样本”，还能模拟人类在对话中“手指点物”、“转手腕”或“耸肩”等不由自主的“习惯性动作”。

研究人员援引自家实验结果，在对照实验中有43%的评估者对框架生成的人物对话场景感到“强烈满意”，因此研究人员认为 Audio2photoreal 框架相对于业界竞品能够生成“更具动态和表现力”的动作。

据悉，研究团队目前已经在GitHub公开了相关代码和数据集，感兴趣的小伙伴可以点此访问。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3193-0.html输入配音文件即可生成人物对话场景，Meta 公布 audio2photoreal AI 框架

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： AI 助力微软发现新材料：80 小时完成 20 年筛选任务，电池中锂用量有望减少 70%

下一篇：用于防范 AI 语音诈骗，杀毒软件公司 McAfee 推出 Mockingbird 项目

标签：

热门焦点

不同于传统数字经济，元宇宙赋予商业生态更多数字资产价值！

作者：中科基大数据元宇宙是一个去中心化的开放平台，而为了维护这样的平台，需要建立一个公平的游戏规则，确保每个元宇宙的参与者通过这个规则都可以挣到钱，他们的利益都可以得到保
文心一言排名垫底，却成为百度业绩增长杠杆

文/侯煜编辑/罗卿知识增强大预言模式文心一言发布后，百度公司热度大幅提升，文心一言到底能为百度的业绩带来多大的增益成为业内关注焦点。近日，百度（NASDAQ：BIDU/09888.HK）公布了
中国区块链产业生态地图报告（2021）

区块链是技术整合创新、金融创新、组织方式创新、产业应用创新的多维度创新，以服务实体经济、政务民生以及公共服务等领域为落脚点，以期实现整个地区和产业的资
Layer1的新以太坊，更好的以太坊？

以太坊作为区块链基础设施地位看起来已不可动摇，但也面临着费用高、效率低、偏离去中心化初衷等问题。平台上既得利益群体的形成和固化也逐渐让革新变得困难。
银保监会：打击以“元宇宙”为名义的违法行为

今日，银保监会发布《关于防范以“元宇宙”名义进行非法集资的风险提示》，全文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名目吸收资金，涉
《刀剑神域》VR展开幕；《Puzzling Places》发布第二个付费DLC

今日热点：《刀剑神域：Ex-Chronicle Online Edition》VR展开幕；虚拟活动平台EventX再获800万美元B轮融资；VR射击游戏《Outlier》确认将于3月17日登陆Steam平台等。
重温 1602 年：DAO 是新的企业范式吗？

作者：Andrew Singer“ 将你的选票委托给行业有能力的专家，将使所有者在这些公司的管理中拥有更强大、更清晰的话语权。”1602 年，荷兰东印度公司成立，许多人认为
本周NFT领域重要资讯回顾

NFT在苏富比拍卖是一波三折的吗？其实不完全如此，但本周在苏富比拍卖行发生了一系列有趣的事。与此同时，美联社因其最新的NFT销售被推到了风口浪尖，而Opensea正面临
初探元宇宙

2021年可以被称为“元宇宙”元年。继2021年3月沙盒游戏平台Roblox将“元宇宙”概念放入招股书中，被称为“元宇宙”第一股后，Facebook更名为Meta, 引发全球范围内