当前位置：首页 > 元宇宙 > AI

GPT-4o 差点没及格！首个多任务长视频评测基准，它有亿点难

来源：责编：时间：2024-06-25 17:11:53 98观看

导读难度大升级的多任务长视频理解评测基准 MLVU 来了！由智源联合北邮、北大和浙大等多所高校推出。究竟有多难呢？最终排名第一的 GPT-4o 单选正确率还不足 65%。而且研究发现，大部分模型的性能都会随着视频时长增加

难度大升级的多任务长视频理解评测基准 MLVU 来了！由智源联合北邮、北大和浙大等多所高校推出。究竟有多难呢？最终排名第一的 GPT-4o 单选正确率还不足 65%。

而且研究发现，大部分模型的性能都会随着视频时长增加显著下降。

研究进一步证明，提升上下文窗口，提升图像理解能力，以及使用更强大的 LLM Backbone 对长视频理解的性能具有显著的提升作用。

目前相关论文及数据集已公开，具体细节下面一起看看吧~

MLVU 的构建过程

当前流行的 Video Benchmark 主要针对短视频设计，大部分视频的长度都在 1 分钟以内。

且现有评测基准往往专注在特定领域的视频（例如电影、第一视角）和特定的视频评测任务（例如 Captioning，Temporal Perception，Action Understanding）。

此外，现有部分长视频理解评测任务往往只和局部帧有关，或者针对经典电影进行问答，这导致 MLLMs 可以直接凭借 text prompt 正确回答而无需对视频进行分析。

针对以上不足，新基准 MLVU 从以下 3 个层面进行构建：

时长和来源更丰富

MLVU 的视频时长覆盖了 3 分钟到超过 2 小时，平均视频时长 12 分钟，极大扩展了当前流行的 Video Benchmark 的时长范围。

另外，MLVU 的大部分任务标注过程中进行了片段-问题对应标注。

例如，Video Summarization 任务分段标注了视频的前 3 分钟，前 6 分钟……

这意味着，MLLMs 可以灵活地在 MLVU 上选择测试不同时长情况下的长视频理解能力。

同时，MLVU 收集了包括电影、电视剧、纪录片、卡通动画片、监控视频、第一视角视频和游戏视频等多个类型的长视频，覆盖了长视频理解的多个领域范围。

任务类别更全面

团队针对长视频理解设计了 9 类不同的任务，并进一步将任务分为三类：全面理解、单细节理解、多细节理解。

全面理解任务：要求 MLLMs 理解和利用视频的全局信息来解决问题

单细节理解任务：要求 MLLMs 根据问题定位长视频中的某一细节，并利用该细节来解决问题

多细节理解任务：要去 MLLMs 定位和理解长视频中的多个相关片段来完成和解决问题

此外，还包括了单项选择题和开放生成式问题，全面考察 MLLMs 在不同场景下的长视频理解能力。

以下为 9 大任务的示例：

问题设置与答案标注更合理

为了突出新旧基准变化，直接以情节问答（Plot Question Answering）任务为例。

假如以电影、电视的角色作为问题线索来对 MLLMs 进行提问，旧基准的常见问题有两种。

一是挑“经典”下手，这导致 MLLMs 在没有对视频进行分析的情况下，直接使用了自有知识回答问题。

另一部分试图避免这个问题，但由于长视频的复杂性，仅仅利用代词和描述性语句来指代情节细节非常困难。

他们的问题非常宽泛或者需要在问题中额外指定具体的时间片段而不是让 MLLMs 自己根据题目寻找对应细节。

MLVU 通过精细的人工标注克服了这些问题。

在所有的情节问答任务中，MLVU 均使用“具有详细细节的代词”来指代情节中的人物、事件或背景，避免了问题泄露带来的潜在影响，MLLMs 需要根据问题提供的线索识别和定位相关片段才能进一步解决问题。

此外，MLVU 的 Plot QA 问题具备丰富的多样性，增强了评测的合理性和可靠性。

模型在 MLVU 上的表现

团队在 MLVU 上对 20 个流行的 MLLM 进行了评测，包括开源模型和闭源模型。

实验结果表明，尽管 GPT-4o 在所有任务中均取得了第 1 名，但它的单选平均准确率只有 64.6%。

且所有模型都在需要细粒度理解能力的任务上（单细节、多细节理解任务）表现糟糕。

此外，大部分模型的性能都会随着视频时长增加显著下降。

另一明显结论是，开源模型和闭源模型之间存在较大的差距。

开源模型中单项选择题性能最强的 InternVL-1.5 单选平均准确度仅有 50.4%；开放生成式题目最强的 LLaMA-Vid 得分仅有 4.22，均远远落后于 GPT-4o 的 64.6% 和 5.80。

不过研究发现，提升上下文窗口，提升 MLLM 的图像理解能力，以及使用更强大的 LLM Backbone 对长视频理解的性能具有显著的提升作用。

这揭示了未来 MLLMs 在提升长视频理解能力的重要改进方向。

论文：

https://arxiv.org/abs/2406.04264

项目链接：

https://github.com/JUNJIE99/MLVU

本文来自微信公众号：量子位（ID：QbitAI），作者：关注前沿科技

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-4772-0.htmlGPT-4o 差点没及格！首个多任务长视频评测基准，它有亿点难

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：没有授权也没关系？多家 AI 公司被曝绕过网络标准抓取新闻出版商网站内容

下一篇：斯坦福大模型评测榜 Claude 3 排名第一，阿里 Qwen2、零一万物 Yi Large 国产模型进入前十

标签：

热门焦点

雷克萨斯高管，“受贿”5000万？

来源：毒舌科技作者：潘磊雷克萨斯的高管，好像出事了。五六家日本小媒体，突然曝出了一个与中国市场有关的大新闻——雷克萨斯中国区一个高管受贿10亿日元（约合人民币5000
避坑指南：远离具有这些特性的NFT

关于NFT，在我们的文章中一直以来都是常驻嘉宾，不止因为NFT背后隐藏的潜力，更因为在这个NFT世界里冥冥之中仿佛有一双幕后的手，OpenSea、库里、ERC115、视觉中国、
新款英特尔芯片将使NFT铸造变得更加方便

科技巨头和微处理器制造商英特尔（Intel）正在发布一款适用于 NFT 铸造和挖矿的新芯片。新产品专注于效率、易操作性和可持续性，该公司的战略是从加密兴起与 NFT爆
从虚拟餐厅到虚拟时装秀，行业巨头掀起元宇宙商标注册潮

自从 Facebook 更名为 Meta 后，关于元宇宙的讨论愈发激烈，这一词汇也越来越多的出现在我们的视野里。这是一个非常有趣的话题。伴随着争论，有些人认为是马克·扎
2021年中国元宇宙行业用户行为分析热点报告

元宇宙网络热度高涨，中国网民对虚拟生态兴趣浓厚。艾媒咨询数据显示，超六成的网民对“元宇宙”了解程度较高，在元宇宙较基础的游戏领域，超九成的人对VR游戏更感兴
元宇宙是推动NFT发展的初始家园

现在大家都知道了什么是NFT，但好像离自己的生活还有一定距离。随着我们与NFT 接触增加，该如何将这些数字资产带入我们的日常生活？NFT还是主流吗？如果我们将“主流
Web 3如何改变传统HR

互联网自诞生以来，经历了三次迭代。Web1是第一阶段，包括ISP服务器上的个人网页或免费的虚拟主机服务。然后Web2出现了，它引入了动态的用户生成内容、互操作性、增
下一个黄金赛道？NFT的碎片化!

碎片化可能是我们一生中最重要的一个投资趋势，碎片化本身并不新鲜。它已经存在了400年之久。早在1602年，荷兰东印度公司是历史上第一家在公共证券交易所上市的公
对讽刺无动于衷，Nori将碳市场放在区块链上

当我们聊气候问题的解决方案时，以太坊区块链应该不是最首想到的，但这正是Nori所选择的方案，它建立了一个引擎，鼓励农民使用负碳耕作方法，将空气中的碳抽出并放回地