当前位置：首页 > 科技 > 资讯

谷歌 DeepMind 新研究：利用 AI 模型为无声视频配音

来源：责编：时间：2024-06-20 08:55:10 74观看

导读来源：IT之家据谷歌 DeepMind 新闻稿，DeepMind 近日公布了一项利用 AI 为无声视频生成背景音乐的 "video-to-audio" 技术。IT 之家获悉，当前 DeepMind 这款 AI 模型依然存在局限性，需要开发者使用提示词为模型预先 " 介绍

来源：IT之家

据谷歌 DeepMind 新闻稿，DeepMind 近日公布了一项利用 AI 为无声视频生成背景音乐的 "video-to-audio" 技术。

IT 之家获悉，当前 DeepMind 这款 AI 模型依然存在局限性，需要开发者使用提示词为模型预先 " 介绍 " 视频可能的声音，暂时不能直接根据视频画面添加具体音效。

据悉，该模型首先会将用户输入的视频进行拆解，此后结合用户的用户文字提示，利用扩散模型反复运算，最终以生成与视频画面协调的背景声音，例如输入一条 " 在黑暗中行走 " 的无声视频，再添加 " 电影、恐怖片、音乐、紧张、混凝土上的脚步声 " 等文字提示，相关模型就能生成恐怖风格的背景音效。

DeepMind 同时表示，该 "video-to-audio" 模型可以为任何视频生成无限数量的音轨，还能够通过提示词内容判断生成的音频 " 正向性 " 或 " 反向性 "，从而令生成的声音更贴近某些特定场景。

展望未来，DeepMind 表示研究人员正进一步优化这款 "video-to-audio" 模型，计划未来能够让模型直接根据视频内容，无须通过提示词即可生成视频背景音，同时还将改善视频中人物对白的口型同步能力。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-16-94985-0.html谷歌 DeepMind 新研究：利用 AI 模型为无声视频配音

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：再次亮相欧洲杯，容声冰箱硬核诠释中国制造“新模样”

下一篇：微软承认 4 月 /5 月更新导致 Win10 开始菜单 / 任务栏应用交互 BUG

标签：

热门焦点

小米官宣：2023年上半年出货量中国第一！

今日早间，小米电视官方微博带来消息，称2023年小米电视上半年出货量达到了中国第一，同时还表示小米电视的巨屏风暴即将开始。“公布一个好消息2023年#小米电视上半年出货量中国
红魔电竞平板评测：大屏幕硬实力

前言：三年的疫情因为要上网课的原因激活了平板市场，如今网课的时代已经过去，大家的生活都恢复到了正轨，这也就意味着，真正考验平板电脑生存的环境来了。也就是面对着这种残酷的
6月iOS设备好评榜：第一蝉联榜首近一年

作为安兔兔各种榜单里变化最小的那个，2023年6月的iOS好评榜和上个月相比没有任何排名上的变化，仅仅是部分设备好评率的下降，长年累月的用户评价和逐渐退出市场的老款机器让这
女孩租房开2小时空调用完100元电费引热议：5级能耗惹不起月薪过万电费也交不起

近日，江苏苏州一女孩租房当天充值了100元电费，开着空调不到2小时发现电费已用完。对于为什么这个快，房东表示，电表坏了这种情况很多，之前也遇到过，给租客换
从 Pulsar Client 的原理到它的监控面板

背景前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题，比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据 topic 维度查看他的发送状态，
本地生活这块肥肉，拼多多也想吃一口

出品/壹览商业作者/李彦编辑/木鱼拼多多也看上本地生活这块蛋糕了。近期，拼多多在App首页“充值中心”入口上线了本机生活界面。壹览商业发现，该界面目前主要
ESG的面子与里子

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之三伏大幕拉起，各地高温预警不绝，但处于厄尔尼诺大“烤”之下的除了众生，还有各大企业发布的ESG报告。ESG是“环境保
东方甄选单飞：有些鸟注定是关不住的

作者：彭宽鸿来源：华尔街科技眼&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;&zwj;东方甄选创始人俞敏洪带队的“7天甘肃行”直播活动已在近日顺利收官。成立后一
7月4日见！iQOO 11S官宣：“鸡血版”骁龙8 Gen2+200W快充加持

上半年已接近尾声，截至目前各大品牌旗下的顶级旗舰都已悉数亮相，而下半年即将推出的顶级旗舰已经成为了数码圈爆料的主流，其中就包括全新的iQOO 11S系