当前位置：首页 > 元宇宙 > AI

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

来源：责编：时间：2024-06-27 17:13:01 94观看

导读 6 月 25 日消息，最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为

6 月 25 日消息，最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。

这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。

研究人员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别 SIUO 类型的安全问题，在提供安全响应方面也遇到困难。

在接受测试的 15 个 LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。

研究人员表示为了解决这个问题，需要开发 LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出，LVLMs 需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。

附上参考地址

Cross-Modality Safety Alignment

SIUO

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-4815-0.html15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 将采取额外措施，停止其不支持的国家和地区的 API 使用

下一篇： Meta 将真实照片标记为“AI 生成”，引发多名摄影师不满

标签：

热门焦点

《蜘蛛侠》火了，超级英雄就该这么演

燃次元（ID:chaintruth）原创作者 | 陶淘编辑 | 曹拿下豆瓣8.8分、IMDB 9.1的高分，6月2日在全球同步上映的《蜘蛛侠：纵横宇宙》（以下简称《蜘蛛侠》），上映不足一周，便在国内“
“平均时代”：ChatGPT模仿秀的隐喻

来源：锦缎如果你问ChatGPT，Instagram上最美的女人是谁？它很可能会给你一个名字，叫卡戴珊。如果你观察过Instagram这个美版小红书：平台上的所有网红，展现的几乎是统一面孔：统一的医
不同于传统数字经济，元宇宙赋予商业生态更多数字资产价值！

作者：中科基大数据元宇宙是一个去中心化的开放平台，而为了维护这样的平台，需要建立一个公平的游戏规则，确保每个元宇宙的参与者通过这个规则都可以挣到钱，他们的利益都可以得到保
VR/AR迷失元宇宙“硝烟”

不温不火的VR/AR可穿戴设备因元宇宙崛起火了一阵，又随着元宇宙回归平静。1月份，微软在 Surface 设备、HoloLens 混合现实硬件和 Xbox 等部门裁员，其中负责混合现实硬件（MR）的Holo
元宇宙步入暗夜

撰文 | 文烨豪元宇宙的故事，似乎讲不通了。当下，刮起元宇宙热潮的Roblox股价已跌去大半，带头大哥Meta也正因元宇宙亏损深陷泥潭。再看国内，从字节“派对岛&
游戏玩家才是最“元宇宙”的

01元宇宙的概念，最早由科幻作家尼尔·斯蒂芬森于1992年在其著作《雪崩》中提出。它指的是一个脱胎于现实世界，又与现实世界平行、相互影响，并且始终在线的虚拟世
2022年元宇宙系列报告：UGC当道，XR带来新交互体验

UGC作为元宇宙的主要内容创作模式，已经越来越多的呈现于游戏、娱乐、社交、传媒等方面，UGC模式勾勒了元宇宙的边界，现今元宇宙UGC模式的主要呈现方式以元宇宙概念
元宇宙存在的意义和价值

科技公司目前都在犹豫，看谁能在元宇宙上押下更大的赌注。然而，除了巨额的资金投入，到底要怎样才能获胜在很大程度上还没有得到证实。它是否仅仅是对当前数字景观
初探元宇宙

2021年可以被称为“元宇宙”元年。继2021年3月沙盒游戏平台Roblox将“元宇宙”概念放入招股书中，被称为“元宇宙”第一股后，Facebook更名为Meta, 引发全球范围内