当前位置：首页 > 元宇宙 > AI

让蒙娜丽莎唱饶舌，微软发布 VASA-1 模型：图 + 音频可生成短视频

来源：责编：时间：2024-04-26 08:44:07 97观看

导读 4 月 19 日消息，微软亚洲研究院（Microsoft Research Asia）近日发表论文，介绍了全新的 VASA-1 模型，用户只需要提供一张静态肖像图片和一段语音音频片段，该模型就能自动让图片中的人物自动说话。VASA-1 特别有趣的地

4 月 19 日消息，微软亚洲研究院（Microsoft Research Asia）近日发表论文，介绍了全新的 VASA-1 模型，用户只需要提供一张静态肖像图片和一段语音音频片段，该模型就能自动让图片中的人物自动说话。

VASA-1 特别有趣的地方在于，它能够模拟自然的面部表情、各种情绪和唇部同步，最重要的是几乎没有人工痕迹，如果不细看很难发现。

研究人员承认，与所有其他模型一样，该模型目前还无法妥善处理头发等非刚性元素，但整体效果要比其它同类模型要更为优秀。

研究人员还表示 VASA-1 支持离线 batch 处理模式下，以 45fps 生成分辨率为 512*512 的动态短视频，在线直播模式下可以达到 40 fps，且延迟仅为 170ms。而且整个生成操作只需要一台配备英伟达 RTX 4090 显卡的电脑上就能处理。

附上参考地址

New VASA-1 model by Microsoft Research Asia

VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-4111-0.html让蒙娜丽莎唱饶舌，微软发布 VASA-1 模型：图 + 音频可生成短视频

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：五粮液浓香酒：劳动节送礼的精致艺术

下一篇：谷歌整合 Research 和 DeepMind 资源，全力发展 AI

标签：

热门焦点

元宇宙里卖酸奶，好炸裂的操作！

作者 | 李东阳来源 | 首席营销官有没有发现，当下的热搜出现一个有意思的现象，那就是“情怀”不知不觉成为了主流，爷青回话题讨论性非常高。前有名侦探柯南和优衣库
元宇宙这一年：技术加速落地，助传统行业走向新阶段

美国当地时间1月8日，2023年CES（消费电子展览会）完美落幕。而在这项一年一度的科技圈盛事中，元宇宙仍是主角和焦点之一。索尼在1月6日发布了备受关注的PS VR 2头显
搭上“谷爱凌”，“柳夜熙们”站上风口？

作者：张琳曹杨从“永不塌房”的艺人到频频亮相北京冬奥会，作为元宇宙细分赛道之一的虚拟数字人又火了一把。2月7日，即谷爱凌摘得冬奥会自由式滑雪大跳台金牌的
英特尔首款加密芯片将于今年上市｜国际动态

No.1 英特尔首款加密芯片将于今年上市2月13日消息，英特尔首款名为“区块链加速器”的加密芯片将于今年晚些时候上市。目前，已经有两家公司预订了这项技术，分别是G
超级碗的加密时刻：是主流信号还是“网络超级碗2.0”？

2 月 13 日，美东时间 18:30，有着“美国春晚”之誉的超级碗（Super Bowl）落下帷幕。超级碗是美国国家美式足球联盟（也称为国家橄榄球联盟）的年度冠军赛，胜者将成为“世
智能人机交互技术的春晚大考

1月初的一个早晨，京东智能客户服务产品部紧急开会，进行关于尚未对外公布的“X项目”的初讨论。1月5日，这个神秘的X项目对外公布，京东成为央视2022年春晚独家互动合
上海虹口成立10亿元元宇宙基金，香港首只元宇宙ETF拟上市

区块链日报17日讯今日《元宇宙新鲜事》有：上海虹口将成立总额约10亿元的元宇宙产业基金；香港市场首只元宇宙主题ETF拟于2月21日上市；元宇宙平台Roblox出现违禁游
从虚拟餐厅到虚拟时装秀，行业巨头掀起元宇宙商标注册潮

自从 Facebook 更名为 Meta 后，关于元宇宙的讨论愈发激烈，这一词汇也越来越多的出现在我们的视野里。这是一个非常有趣的话题。伴随着争论，有些人认为是马克·扎
百度虚拟人——AI手语主播首次亮相冬奥会！

除了火遍全国的冰墩墩，虚拟人也成为这届冬奥会的一大亮点元素。以体育明星谷爱凌为原型的数智人Meet Gu最先亮相。在2月5日谷爱凌首秀、2月7日谷爱凌首金的两天