当前位置：首页 > 元宇宙 > AI

苹果放大招！新模型Ferret-UI将颠覆AI交互？

来源：责编：时间：2024-04-11 17:29:24 49观看

导读4月11日消息，苹果近日发布了最新的多模态大语言模型Ferret-UI，该模型专为理解和与移动UI屏幕交互而设计。Ferret-UI在所有基本UI任务上的表现均超越了GPT-4V，显示出了卓越的理解和交互能力。据ITBEAR科技资讯了解，Ferret-

4月11日消息，苹果近日发布了最新的多模态大语言模型Ferret-UI，该模型专为理解和与移动UI屏幕交互而设计。Ferret-UI在所有基本UI任务上的表现均超越了GPT-4V，显示出了卓越的理解和交互能力。

据ITBEAR科技资讯了解，Ferret-UI作为一种新的多模态大型语言模型(MLLM)，具备指向、定位和推理等多重功能，能够有效理解和交互移动UI屏幕上的信息。它通过灵活的输入格式和基础任务，在移动用户界面屏幕上执行各种引用任务。Ferret-UI的一个显著特点是“任何分辨率”技术，通过放大细节来解决UI屏幕中小型对象的识别问题，从而提升了对UI元素的理解精度。

此外，Ferret-UI不仅能够在详细描述和感知对话中讨论视觉元素，还能在交互对话中提出目标导向的动作，并通过函数推理来推断屏幕的整体功能。研究人员为了增强模型的推理能力，特别编译了用于高级任务的数据集，包括详细描述、感知/交互对话和函数推理等方面的数据。

在基础任务性能的比较上，Ferret-UI展现出了对UI屏幕的出色理解能力以及执行开放式指令的能力。这项技术的掌握使得AI能够像人类一样进行交互，预示着苹果未来可能将改变MLLM的游戏规则。

通过独特的模型架构和数据集训练方法，Ferret-UI实现了对移动UI屏幕的深入理解和有效交互，为用户带来了更为智能和便捷的操作体验。这一技术的突破，无疑将推动科技行业向更智能化、人性化的方向发展。

标签：苹果

举报 0收藏 0打赏 0评论 0

更多>同类资讯

Meta发布新一代MTIA芯片：AI性能大幅提升

4月11日消息，Meta Platforms于近日发布了其专为AI工作负载设计的定制芯片系列——训练与推理加速器项目(MTIA)的最新版本。据Meta官方介绍，新一代MTIA相较于初代，在性能上有了显著的提升，这种提升特别有助于加强内容排名和推荐广告模型的效果。新

04-11

谷歌发布CodeGemma AI模型，打造顶级代码辅助利器

4月10日消息，谷歌公司近日发布了CodeGemma先进大语言模型(LLMs)，旨在为全球开发人员提供高质量的代码辅助工具，专注于生成代码、理解和追踪指令等功能。CodeGemma作为Gemma模型的开放访问系列，针对代码开发场景进行了优化和微调。该套件包含三种不

04-10

Meta全新Llama 3即将问世，AI时代再进一步？

4月10日消息，近日，知名科技媒体theinformation透露，Meta公司正计划在下周预告两款新的Llama 3 AI模型，此举旨在为今年夏季推出的“完整形态”Llama 3做铺垫。在本周二于伦敦举办的一场活动中，Meta公司确认将在下个月之前发布与Llama 3相关的模型

04-10

OpenAI与Meta重磅！新AI模型将颠覆你的认知？

4月10日消息，近日，人工智能领域的两大巨头OpenAI和Meta宣布，他们即将推出全新的人工智能模型，这些模型不仅将具备强大的推理和规划能力，更被认为是实现超人认知的关键步骤。这些新型模型的问世，无疑将为生成式人工智能应用注入强大的动力。OpenA

04-10

2030年AI将吞噬1/4电网？雷内·哈斯发出警告！

4月10日消息，近日，Arm公司CEO雷内·哈斯发出警告，指出随着人工智能技术的不断进步，如果我们不致力于提高能效，AI数据中心的电力消耗将会急剧攀升。据哈斯透露，目前美国AI数据中心的耗电量已经占到了整个电网的4%，然而，这一比例预计到2030年可

04-10

墨芯融资数亿，AI算力服务即将颠覆市场？！

4月10日消息，墨芯人工智能公司，这家以稀疏计算技术为专攻的创新型企业，近日连续完成了A+轮和B轮各数亿元的融资。这次融资的成功，无疑为墨芯注入了强大的动力，标志着市场对其独特技术和商业模式的高度认可。墨芯人工智能以其差异化的稀疏计算技术

04-10

谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

4月10日消息，随着科技的不断发展，办公方式也在逐步变革。过去，文档、电子表格和幻灯片等传统办公工具一直占据着主导地位，然而现在，谷歌却带来了一款全新的应用程序——Vids，旨在让用户制作协作可共享的视频变得更加轻松便捷。Vids是一款融合了

04-10

贾扬清研发浏览器插件Elmo：10秒获取YouTube视频要点

4月10日消息，前阿里首席AI科学家贾扬清近日在推特上向大家介绍了一款名为Elmo的插件。此款插件能在短短10秒内总结Google Next主题演讲，将其精炼为一句话概括、摘要以及主要观点。Elmo是由贾扬清去年创立的AI公司Lepton AI精心打造的。据贾扬清透露

04-10

OpenAI推出视觉增强版GPT-4 Turbo模型，简化开发流程

4月10日消息，OpenAI今日声明，已向开发者广泛开放了其全新的GPT-4 Turbo with Vision模型，这一模型在继承了GPT-4 Turbo系列的特点的同时，首次引入了视觉理解能力。这一视觉增强的GPT-4 Turbo模型，不仅维持了原系列128,000个token的窗口大小和截止

04-10

全球独角兽企业数量再创新高！你猜哪个领域最疯狂？

4月9日消息，最新数据显示，全球独角兽企业数量再创新高，达到接近1500家。这些企业中，金融科技、软件服务和人工智能等领域的独角兽企业占据了三分之一的比例，显示了这些领域的强劲发展态势。中国作为全球独角兽企业的重要阵地之一，共拥有340家独

04-09

谁在偷懒？OpenAI的ChatGPT竟然变得越来越懒散？

4月9日消息，尽管OpenAI创始人Sam Altman已经多次透露了与GPT-5相关的消息，但与OpenAI创始人的野心相比，眼下最棘手的问题是ChatGPT的一群忠实用户们正在发现GPT-4正在变得越来越「懒」。所谓的「变懒」指的是ChatGPT的个人用户体验。近期，在OpenAI

04-09

谷歌新研究冲击缩放定律！模型规模真的关键吗？

4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。然而，谷歌

04-09

联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

4月9日消息，联发科在今日盛大举行的生成式 AI 论坛中，正式发布了其全新的生成式AI服务平台——MediaTek DaVinci，该平台亦被亲切地称为“联发科技达哥”。自其问世以来，已吸引了超过40家厂商踊跃加入其生态系统，共同探索AI技术的新边界。MediaTek

04-09

数字永生！AI“复活”产品火爆上线，你会为逝去的亲人尝试吗？

4月9日消息，清明节前，电商平台迎来了一股独特的潮流，一位名为庞立的人工智能专业研究生在这个时机注册了一家店铺，专门提供AI“复活”服务。据庞立透露，今年大型模型应用与数字人训练平台技术都有所升级，结合最近AI“复活”话题的火爆，他决定进

04-09

超越GPT-3.5？联发科推出450亿参数AI模型！

4月9日消息，联发科近日推出了全新的生成式AI服务平台——MediaTek DaVinci，该平台也被业界亲切地称为“联发科技达哥”。据悉，该平台自推出以来，已成功吸引了20余家高科技厂商、10余家消费品牌、6家金融业机构、3家电信企业以及5家传统产业企业加

04-09

点击查看更多 +

全站最新

Aqara再度斩获胡润全球独角兽榜，连续三年上榜

雷神预热新款增程式AI全能本aibook 15，五月震撼上市

爆料！苹果新款iPad或将静默上线，不举办发布会？！

完全替换F5，深信服应用交付AD如何做到？

揭秘东风本田e:NS2：年轻、动感与纯电的完美结合

兰博基尼Huracan STJ限量版发布：致敬经典，赛道性能再升级

热门内容

华为云携手乐聚机器人，共探“盘古大模型+夸父人形机器人”新应用场景
华为云携手贵安新区，共筑全球领先智算高地
谷歌借助AI突破：提前7天预测洪灾，全球80国将受益
谷歌发布CodeGemma AI模型，打造顶级代码辅助利器
谷歌DeepMind推出SIMA模型：打造更贴近人类的游戏智能队友
Cerebras发布第三代芯片WSE-3：性能翻倍，助力大模型训练
微软或与OpenAI联手，斥资千亿美元打造“星际之门”AI超算
音乐界的ChatGPT？天工SkyMusic邀您体验AI音乐创作
英美联手打造AI安全新标杆，科学合作伙伴关系正式建立
WPS推出AI会员服务，月费25元起，开启AI办公新纪元
微软Copilot全面升级至GPT-4 Turbo模型，提升编码体验
百度文心一言推出新功能，秒速定制你的专属AI声音
马斯克再谈AI风险：利大于弊仍值得冒险
OpenAI疑似泄露GPT-4.5 Turbo模型信息
谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

本栏最新

Meta发布新一代MTIA芯片：AI性能大幅提升

Meta全新Llama 3即将问世，AI时代再进一步？

OpenAI与Meta重磅！新AI模型将颠覆你的认知？

2030年AI将吞噬1/4电网？雷内·哈斯发出警告！

墨芯融资数亿，AI算力服务即将颠覆市场？！

谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-5129-0.html苹果放大招！新模型Ferret-UI将颠覆AI交互？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： LLaMA 3来了！Meta新一代大模型将掀起AI新革命？

下一篇： Meta发布新一代MTIA芯片：AI性能大幅提升

标签：

热门焦点

雷克萨斯高管，“受贿”5000万？

来源：毒舌科技作者：潘磊雷克萨斯的高管，好像出事了。五六家日本小媒体，突然曝出了一个与中国市场有关的大新闻——雷克萨斯中国区一个高管受贿10亿日元（约合人民币5000
元娲2.7上线：虚拟人视频制作速度疯狂翻倍！

来源：清元宇宙炎炎夏日努力工作的Q仔的电脑都冒烟儿啦～今天要给大家介绍两个新小伙伴——小元和小娲，他们将给大家解读元娲2.7版本重磅更新内容～大家掌声欢迎～～～本次更
避坑指南：远离具有这些特性的NFT

关于NFT，在我们的文章中一直以来都是常驻嘉宾，不止因为NFT背后隐藏的潜力，更因为在这个NFT世界里冥冥之中仿佛有一双幕后的手，OpenSea、库里、ERC115、视觉中国、
传腾讯已推出全新XR业务；摩托罗拉正打造5GXR颈戴式计算组件

今日热点：传腾讯已推出全新XR业务；摩托罗拉与Verizon合作打造5G XR颈戴式计算组件；小米AR购物导航专利获授权；VR一体机Simula One放弃众筹并开放直接预订；VR游戏《
从NFT顶级公链到Web3.0基础设施：带你了解不一样的Flow

对于大部分年轻人来说，刚刚过去的春节有一个词语突然成为了品牌宣传的流行语，作为从NFT中衍生出来的“数字藏品”一时间获得了不少品牌青睐，他们纷纷推出自己的数
Terra链上TVL跃升至第二

据DefiLlama数据显示，当前,Terra链上应用锁仓的加密资产价值（TVL）为172.1亿美元，在公链板块中已跃升至第二，超越了币安智能链TVL的118亿美元，TVL排名居首的仍为以太
融资千万美元的元宇宙平台UGC到底是什么？

据获悉，全球化元宇宙社交平台BUD Technologies, Inc.（以下简称“BUD”）宣布完成1500万美元A+轮融资，本轮融资由启明创投领投，老股东源码资本、GGV纪源资本、云九资
PayPal CEO 的加密语录：加密货币将重新定义金融世界

PayPal 近年来一直是加密行业的倡导者。这个本身拥有超过 3.5 亿名活跃用户的支付巨头，已经允许美国和英国的用户交易或持有比特币（BTC）、以太坊（ETH）、比特现金（BCH
初探元宇宙

2021年可以被称为“元宇宙”元年。继2021年3月沙盒游戏平台Roblox将“元宇宙”概念放入招股书中，被称为“元宇宙”第一股后，Facebook更名为Meta, 引发全球范围内