当前位置：首页 > 元宇宙 > AI

清华大学合作推出看图答题小能手 CogAgent：可告知《原神》游戏操作步骤等

来源：责编：时间：2024-01-02 09:26:41 178观看

导读 12 月 27 日消息，清华 KEG 实验室近日和智谱 AI 合作，联合推出了新一代图像理解大模型 CogAgent。该模型基于此前推出的 CogVLM，通过视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而作

12 月 27 日消息，清华 KEG 实验室近日和智谱 AI 合作，联合推出了新一代图像理解大模型 CogAgent。

该模型基于此前推出的 CogVLM，通过视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而作出规划和决策。

CogAgent 可以接受 1120×1120 的高分辨率图像输入，具备视觉问答、视觉定位（Grounding）、GUI Agent 等多种能力，在 9 个经典的图像理解榜单上（含 VQAv2，STVQA, DocVQA，TextVQA，MM-VET，POPE 等）取得了通用能力第一的成绩。

例如，用户输入一张关于 CogVLM 项目的 GitHub 的图片，然后询问如何给这个项目点“Star”，然后 CogAgent 就会反馈出结果。

图源：中国网科学

例如用户输入一张原神游戏的截图，可以询问“当前任务中的队友是谁？”，CogAgent 会给出相关的回答。

附上相关信息地址如下：

论文：https://arxiv.org/abs/2312.08914

Demo：Streamlit

代码：https://github.com/THUDM/CogVLM

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3084-0.html清华大学合作推出看图答题小能手 CogAgent：可告知《原神》游戏操作步骤等

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：韩国首尔明年将启用无人机及人工智能监控交通状况

下一篇：算力巨兽能耗惊人：英伟达 H100 AI 芯片总耗电量将超欧洲小国

标签：

热门焦点

三院士三教授热聊元宇宙&——AIGC，学术界怎么看？

来源：清元宇宙在近日举办的中国江宁2023元宇宙产业·人才高峰论坛暨AIGC发展大会上，中国工程院院士谭建荣、刘韵洁、郑纬民出席并发表了主旨演讲。除了三大院士，还有清华
元宇宙里掀起回忆杀？这波虚拟怀旧营销主打一个极限反差

来源：首席品牌官从被称为“元宇宙元年”的2021年开始，几乎所有品牌都在迫不及待地“入驻”元宇宙。而一提及品牌们的元宇宙玩法，相信多数人脑海里首先浮现
风口已至，多领域平台融入社交元素！

在众多领域平台中，社交元素都扮演着重要角色，如直播营销带货、线上配对听歌、游戏局内互动等。随着元宇宙时代的来临，社交产品不断升级，社交元素推动流量变现，多平台领域融入社交
保时捷推出虚拟超跑，车企元宇宙营销这么香？

保时捷又出超跑了，不过这次不是在现实世界，而是在虚拟世界。这款Vision Gran Turismo概念车，由保时捷和日本视频游戏开发工作室Polyphony Digital联合打造，将于202
江西将探索成立元宇宙联盟，韩国将加强对NFT和元宇宙的监管

《元宇宙新鲜事》有：江西将探索成立元宇宙联盟，支持南昌规划建设元宇宙试验区；韩国金融监督局将加强对NFT和元宇宙的监管；任天堂社长表示暂时不打算加入元宇宙。【
国内涌现70余家数字藏品平台：合规、流量与利润在博弈

作者：杨郑君2月16日，迅雷链企业数字藏品服务平台正式上线，继阿里、腾讯、京东、百度、网易等之后，又一家互联网企业正式加入到火热的数字藏品平台的竞争中。除互联
NFT 技术将传世之作带入博物馆

意大利四大博物馆已与一个项目合作，该项目将展示和销售达芬奇、卡拉瓦乔、拉斐尔和莫迪利亚尼等人的杰作的 NFT复制品。该计划采用了科技公司Cincello的国际专
全球十大元宇宙概念游戏

A股市场中，不少游戏公司早早搭上了元宇宙概念。举例，中青宝宣称将发布一款元宇宙概念的模拟经营类游戏，尽管游戏尚在研发中，这一消息已经让中青宝的股价在51个交易
售出6930万美元的NFT已经过去一年，NFT如今是否已成为主流？

Everydays: the First 5000 Days/Beeple去年三月，一件艺术品被著名拍卖行佳士得以6930万美元的高价售出。而让人们感到震惊的是，这个拍卖作品不是出自哪位艺术大