当前位置：首页 > 元宇宙 > AI

商汤“书生・浦语”2.0 大语言模型开源：200K 上下文，一次可读 30 万汉字

来源：责编：时间：2024-01-22 08:39:10 231观看

导读 1 月 17 日消息，商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0（InternLM2）。据介绍，InternLM2 是在 2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语（I

1 月 17 日消息，商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0（InternLM2）。

据介绍，InternLM2 是在 2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语（InternLM）设定，InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本，继续开源，提供免费商用授权。

目前，浦语背后的数据清洗过滤技术已经历三轮迭代升级，号称仅使用约 60% 的训练数据即可达到使用第二代数据训练 1T tokens 的性能表现。

与第一代 InternLM 相比，InternLM2 在大规模高质量的验证语料上的 Loss 分布整体左移，表明其语言建模能力增强。

通过拓展训练窗口大小和位置编码改进，InternLM2 支持 20 万 tokens 的上下文，能够一次性接受并处理约 30 万汉字（约五六百页的文档）的输入内容。

下面表格对比了 InternLM2 各版本与 ChatGPT（GPT-3.5）以及 GPT-4 在典型评测集上的表现。可以看到，InternLM2 在20B 参数的中等规模上，整体表现接近 ChatGPT。

附开源链接：

Github：

https://github.com/InternLM/InternLM

HuggingFace：

https://huggingface.co/internlm

ModelScope：

https://modelscope.cn/organization/Shanghai_AI_Laboratory

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3249-0.html商汤“书生・浦语”2.0 大语言模型开源：200K 上下文，一次可读 30 万汉字

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：小米申请注册“ChatMI”“小米大模型”商标，用于智能音箱、电动汽车等

下一篇： “文生图”再升级！学习个性化参照，无限生成多样图片，轻松设计玩具建筑

标签：

热门焦点

AIGC产品测评TOP25丨谁能抢到下个十年的“船票”？

Tech星球（微信ID：tech618）文 | 何煦阳策划 | 杨晓鹤封面来源 | 图虫创意 2016年，李彦宏站在百度联盟峰会的讲台上，向所有人宣布：互联网的下一幕是人工智能。同年，Google 旗下 Dee
搭上“谷爱凌”，“柳夜熙们”站上风口？

作者：张琳曹杨从“永不塌房”的艺人到频频亮相北京冬奥会，作为元宇宙细分赛道之一的虚拟数字人又火了一把。2月7日，即谷爱凌摘得冬奥会自由式滑雪大跳台金牌的
8个最适合艺术家发行NFT的交易市场

近年来，加密风靡全球。加密圈最令人兴奋的方面之一是它能够用于创建称为NFT 的数字资产。从 CyberKitties 到 Cyber Galleries，NFT 已成为艺术家和艺术鉴赏家的
餐桌上怎么变出元宇宙？

作者：星影“元宇宙让餐饮业脱胎换骨。”实体的餐饮与虚拟的元宇宙，看起来风马牛不相及，但最近全世界的餐饮企业都掀起了一股注册元宇宙商标的热潮。2月初，全球最大
2022年元宇宙系列报告：UGC当道，XR带来新交互体验

UGC作为元宇宙的主要内容创作模式，已经越来越多的呈现于游戏、娱乐、社交、传媒等方面，UGC模式勾勒了元宇宙的边界，现今元宇宙UGC模式的主要呈现方式以元宇宙概念
韩国国民银行将推出韩国首个加密货币 ETF

韩国国民银行(Kookmin Bank)计划发行该国首个以散户投资者为主要关注点的加密货币投资基金。根据公告，该银行正在等待政府批准，并已建立一个准备就绪的数字资产
与元宇宙美少女艺术家的对话

我最近宣布了我自己的NFT项目，这是我已经工作了几个月的事情。由于我之前只是一个收藏家，拥有自己的项目真的给了我一个新的视角来看待这个领域。我一直欢迎人们
从4个方面解析2022年加密行业趋势

作者：去月球基础设施瓶颈仍然存在尽管2021年公链基础设施之间的竞争显著升温，但关键瓶颈仍需解决。例如，以太坊作为DApp开发的顶级公链，仍然遭受网络拥塞和高额交
从概念到落地 Web3.0初具雏形

加密资产热潮催生出的链上应用中，除了DeFi、NFT、链游GameFi等场景外，还有一个热词叫「Web3.0」。Web3.0的概念最早出现在2014年，由以太坊联合创始人及波卡创建者