当前位置：首页 > 元宇宙 > AI

苹果介绍 Ferret-UI 多模态大语言模型：更充分理解手机屏幕内容

来源：责编：时间：2024-04-11 17:24:58 123观看

导读 4 月 10 日消息，苹果公司近日发布研究论文，展示了 Ferret-UI AI 系统，可以理解应用程序屏幕上的内容。以 ChatGPT 为代表的 AI 大语言模型（LLMs），其训练材料通常是文本内容。为了能够让 AI 模型能够理解图像、视频

4 月 10 日消息，苹果公司近日发布研究论文，展示了 Ferret-UI AI 系统，可以理解应用程序屏幕上的内容。

以 ChatGPT 为代表的 AI 大语言模型（LLMs），其训练材料通常是文本内容。为了能够让 AI 模型能够理解图像、视频和音频等非文本内容，多模态大语言模型（MLLMs）因此孕育而生。

只是现阶段 MLLMs 还无法有效理解移动应用程序，这主要有以下几个原因：

1. 手机屏幕的宽高比，和大多数训练图像使用的屏幕宽高比不同。

2. MLLMs 需要识别出图标和按钮，但它们相对来说都比较小。

因此苹果构想了名为 Ferret-UI 的 MLLM 系统解决了这些问题：

与自然图像相比，用户界面屏幕的长宽比通常更长，包含的关注对象（如图标、文本）也更小，因此我们在 Ferret 的基础上加入了 "任意分辨率"，以放大细节并利用增强的视觉功能。

我们精心收集了大量初级用户界面任务的训练样本，如图标识别、查找文本和小部件列表。这些样本的格式都是按照带有区域注释的指令来设计的，以便于精确引用和接地。

为了增强模型的推理能力，我们进一步编制了高级任务数据集，包括详细描述、感知 / 交互对话和功能推理。

苹果在论文中表示相比较现有的 GPT-4V，以及其它 MLLMs 模型，Ferret-UI AI 模型更为优秀。

附上参考地址

Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3949-0.html苹果介绍 Ferret-UI 多模态大语言模型：更充分理解手机屏幕内容

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI推出视觉增强版GPT-4 Turbo模型，简化开发流程

下一篇：融合视觉能力，OpenAI 向开发人员提供 GPT-4 Turbo with Vision

标签：

热门焦点

城市数字孪生标准化白皮书（2022版）

当前，城市数字孪生已经发展成为支撑智慧城市的重要技术手段。城市数字孪生通过在数字空间对城市物理空间和社会空间进行全要素表达、全过程呈现、全周期可溯，实
下一个黄金赛道？NFT的碎片化!

碎片化可能是我们一生中最重要的一个投资趋势，碎片化本身并不新鲜。它已经存在了400年之久。早在1602年，荷兰东印度公司是历史上第一家在公共证券交易所上市的公
对讽刺无动于衷，Nori将碳市场放在区块链上

当我们聊气候问题的解决方案时，以太坊区块链应该不是最首想到的，但这正是Nori所选择的方案，它建立了一个引擎，鼓励农民使用负碳耕作方法，将空气中的碳抽出并放回地
王老吉启动元宇宙“吉空间”，HTC发布元宇宙应用VIVERSE

今日《元宇宙新鲜事》有：王老吉启动元宇宙“吉空间”；HTC发布元宇宙应用VIVERSE；Meta将在马德里构建一个元宇宙创新中心；央视网《新闻+》推出系列视频《聊聊元宇宙
MR——元宇宙平台的下一代入口

作为“元宇宙”的领头羊，Meta的一举一动都受到业内的高度关注。华尔街见闻提及，2月17日周四，Facebook母公司Meta在透露，其混合现实技术（MR）将在几年后实现，让人们对元
知名艺术家打造去中心化“好莱坞”：一部电影一个DAO

根据市场追踪网站 DappRadar 的数据，随着 NFT 的“出圈”与加密货币的普及，NFT 市场在 2021 年的销售额达到约 250 亿美元，而 2020 年仅为 9490 万美元，同比增超 2
元宇宙收割了谁

作者：晓宇资本将元宇宙看作下一代互联网的门票，画大饼、割韭菜就成了一大选项。2021年被称为元宇宙元年。在这一年里，先是号称元宇宙第一股的沙盒游戏Roblox盛装
从概念到落地 Web3.0初具雏形

加密资产热潮催生出的链上应用中，除了DeFi、NFT、链游GameFi等场景外，还有一个热词叫「Web3.0」。Web3.0的概念最早出现在2014年，由以太坊联合创始人及波卡创建者
PayPal CEO 的加密语录：加密货币将重新定义金融世界

PayPal 近年来一直是加密行业的倡导者。这个本身拥有超过 3.5 亿名活跃用户的支付巨头，已经允许美国和英国的用户交易或持有比特币（BTC）、以太坊（ETH）、比特现金（BCH