当前位置：首页 > 元宇宙 > AI

阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源

来源：责编：时间：2024-09-05 08:57:24 20观看

导读 9 月 2 日消息，阿里云通义千问今日宣布开源第二代视觉语言模型 Qwen2-VL，并推出 2B、7B 两个尺寸及其量化版本模型。同时，旗舰模型 Qwen2-VL-72B 的 API 已上线阿里云百炼平台，用户可直接调用。据阿里云官方介绍，

9 月 2 日消息，阿里云通义千问今日宣布开源第二代视觉语言模型 Qwen2-VL，并推出 2B、7B 两个尺寸及其量化版本模型。同时，旗舰模型 Qwen2-VL-72B 的 API 已上线阿里云百炼平台，用户可直接调用。

据阿里云官方介绍，相比上代模型，Qwen2-VL 的基础性能全面提升：

读懂不同分辨率和不同长宽比的图片，在 DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；

理解 20 分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；

具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策的能力，Qwen2-VL 可以集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作；

理解图像视频中的多语言文本，包括中文、英文，大多数欧洲语言，日语、韩语、阿拉伯语、越南语等。

Qwen2-VL 延续了 ViT 加 Qwen2 的串联结构，三个尺寸的模型都采用了 600M 规模大小的 ViT，支持图像和视频统一输入。

但为了让模型能够更清楚地感知视觉信息和理解视频，团队在架构上进行了一些升级：

一是实现了对原生动态分辨率的全面支持。不同于上代模型，Qwen2-VL 能够处理任意分辨率的图像输入，不同大小图片将被转换为动态数量的 tokens，最小只占 4 个 tokens。这一设计模拟了人类视觉感知的自然方式，确保了模型输入与图像原始信息之间的高度一致性，赋予模型处理任意尺寸图像的强大能力，使得其可以更灵活高效地进行图像处理。

二是使用了多模态旋转位置嵌入（M-ROPE）方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，能让模型更好地理解和建模复杂的多模态数据。

此次 Qwen2-VL 开源的多款模型中的旗舰模型Qwen2-VL-72B 的 API 已上线阿里云百炼平台，用户可通过阿里云百炼平台直接调用 API。

同时，通义千问团队以 Apache 2.0 协议开源了 Qwen2-VL-2B 和 Qwen2-VL-7B，开源代码已集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。开发者可以通过 Hugging Face 和魔搭 ModelScope 下载使用模型，也可通过通义官网、通义 App 的主对话页面使用模型，附地址如下：

阿里云百炼平台：https://help.aliyun.com/zh/model-studio/developer-reference/qwen-vl-api

GitHub：https://github.com/QwenLM/Qwen2-VL

HuggingFace：https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d

魔搭 ModelScope：https://modelscope.cn/organization/qwen?tab=model

模型体验：https://huggingface.co/spaces/Qwen/Qwen2-VL

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-6703-0.html阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：清华系 AI 公司无问芯穹完成近 5 亿元 A 轮融资，投资方含联想创投、小米等

下一篇：谷歌 AI 推出 CardBench 评估框架：含 20 个真实数据库，更全面评估基数估计模型

标签：

热门焦点

虚拟人再升级，企业可以解放双手了？

来源：伯虎财经今天想跟大家来唠唠AI，其实聊到这个话题很多人都不陌生了。在ChatGPT和AIGC大热背后，还有一位低调的“大佬”——虚拟人。比如咱们熟知的虚
元宇宙步入暗夜

撰文 | 文烨豪元宇宙的故事，似乎讲不通了。当下，刮起元宇宙热潮的Roblox股价已跌去大半，带头大哥Meta也正因元宇宙亏损深陷泥潭。再看国内，从字节“派对岛&
“元宇宙第一股”Roblox缘何被资本市场看“低”？

近期，冬奥会的召开受到广泛关注，而吉祥物冰墩墩也成为新晋“顶流”，“一墩难求”成为普遍心声，为了满足大众需求，nWayPlay平台曾在2月12日发售了一款由国际奥委会官
2022年最具关注的9个头像NFT项目

什么是 PFP NFT 项目？PFP NFT （个人资料图片NFT）是一组独特的数字收藏品，人们用来在互联网平台上代表自己。这些数字艺术作品通常是一系列可作为头像的角色，在 Twit
2021年中国智慧城市行业概览：AI慧眼独具，赋能“双碳”目标

中国智慧城市试点项目主要集中于东南地区以及华中地区，受制于应用场景分散以及行业地域建设差异，目前中国智慧城市存在较多弊端，未来数量有望持续突破。中国智慧
新款英特尔芯片将使NFT铸造变得更加方便

科技巨头和微处理器制造商英特尔（Intel）正在发布一款适用于 NFT 铸造和挖矿的新芯片。新产品专注于效率、易操作性和可持续性，该公司的战略是从加密兴起与 NFT爆
元宇宙是数字共识生态的集成逻辑表达

作者: 李鸣元宇宙是数字共识生态的集成逻辑表达，是以区块链技术为核心的可信数字化价值交互网络，是基于Web3.0技术体系和运作机制支撑下的数字新生态。本体论是
NFT艺术家Hayley Rincon 专访：我的迷幻数字艺术之路

Hayley Rincon是一位令人印象深刻才华横溢的创作者，她的作品呈现出迷幻的气息。今天就来聊聊她的艺术作品，和她自己的数字艺术之路。Hayley是加利福尼亚湾区的有
花旗集团前高管加入Provenance区块链，担任CEO

No.1 花旗集团前高管加入Provenance区块链，担任CEO3月1日消息，Provenance区块链基金会已任命花旗集团前高管摩根·麦肯尼（Morgan McKenney）为新任首席执行官。麦肯