当前位置：首页 > 元宇宙 > AI

360智脑7B大模型开源，长文本处理能力达50万字

来源：责编：时间：2024-04-13 16:08:24 38观看

导读4月13日消息，360公司近日在GitHub上公开了其360智脑7B(70亿参数模型)，这一大模型是基于3.4万亿Tokens的语料库进行训练的，主要涵盖了中文、英文和代码。该模型提供了4K、32K、360K三种不同的文本长度选项，其中360K(大约50

4月13日消息，360公司近日在GitHub上公开了其360智脑7B(70亿参数模型)，这一大模型是基于3.4万亿Tokens的语料库进行训练的，主要涵盖了中文、英文和代码。该模型提供了4K、32K、360K三种不同的文本长度选项，其中360K(大约50万字)被360自称为当前国内开源模型中最长的文本长度。

360在多个主流评测数据集上，包括C-eval、AGIeval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、Humaneval、MBPP、BBH以及LAMBADA，对其模型性能进行了全面验证。这些评测主要考察了模型的自然语言理解、知识储备、数学计算和推理、代码生成以及逻辑推理等能力。结果显示，360模型在四个评测数据集上取得了领先的排名，整体平均成绩位列第三。

在专门为大语言模型设计的长文本理解能力评测基准LongBench中，360选择了与中文长文本应用最为相关的任务进行测试。结果显示，360Zhinao-7B-Chat-32K模型在中文单文档问答、多文档问答、摘要以及Few-shot等任务中取得了平均第一的好成绩。

同时，在英文大海捞针测试以及360自行构造的中文大海捞针测试中，360Zhinao-7B-Chat-360K模型均达到了98%以上的准确率，显示出优异的长文本处理能力。

除了模型权重之外，360还开源了该模型的微调训练代码和推理代码等全套工具集，使得大模型相关开发者能够非常方便地使用这些资源，实现“开箱即用”。

据ITBEAR科技资讯了解，360公司董事长周鸿祎曾表示，大模型行业在文本长度上有所追求，100万字将很快成为行业的标配。他透露，360之所以将模型文本长度定为360K，并选择开源这一能力，是为了让整个行业能够共享这一成果，避免重复劳动。周鸿祎自称是“开源的信徒”，坚信开源能够推动行业的进步。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-5156-0.html360智脑7B大模型开源，长文本处理能力达50万字

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI全球推介会：阿尔特曼保证ChatGPT升级不涉API用户数据

下一篇：智能养宠迎来新时代，petgugu全自动猫马桶重磅上新

标签：

热门焦点

数字虚拟人23年最新变化！

作者：小资来源：米塔之家自2021年元宇宙“爆炸”后，作为现实世界连接元宇宙的媒介之一，大批虚拟人跑步入场。到了2022年底，据天眼查数据显示，我国目前企业名称或经营范围
“元宇宙”里过大年，《迷你世界》在做一场怎样的实验？

2021年是游戏行业不确定性急剧上升的一年。一方面游戏正风光无限，腾讯等大厂更加密集地投资动作，让游戏创投市场异常火热，"元宇宙"概念的大放异彩，更是吸引了Netfl
2022 区块链 50 强榜单；垃圾NFT项目的十三个特性

本期关键字TerraZero在Decentraland完成元宇宙住房抵押贷款；腾讯发行齐白石画作数字藏品；Ripple成为数字欧元协会成员；Gem上线稀有度排名功能；2022 区块链 50 强榜
NFT的未来：传统企业与去中心化机构之间的竞赛

传统企业和去中心化机构一直存在分歧，但最近NFT的爆炸式增长让他们产生了共同的兴趣，双方都在竞相让用户更轻松、更方便地使用NFT。毫无疑问，NFT 市场正在增长。
“虚拟人”角斗场，基于“硬实力”下的人性平衡法则？

在打工人“反内卷”的当下，一众虚拟人却“内卷”了起来。从北京春晚虚拟人苏小妹与刘宇演绎歌舞《星河入梦》，央美毕业的虚拟人夏语冰登上央视节目《对话》，湖南
2022年的Web3：定义概念并开创新范式

Web3 是关于加密和区块链应该如何使用的概念，因为它是加密圈的一个离散子领域。社区机会将呈指数级增长，扩大这些子行业的人口统计范围。追求 Web3 项目的组织仍
Web 3如何改变传统HR

互联网自诞生以来，经历了三次迭代。Web1是第一阶段，包括ISP服务器上的个人网页或免费的虚拟主机服务。然后Web2出现了，它引入了动态的用户生成内容、互操作性、增
初探元宇宙

2021年可以被称为“元宇宙”元年。继2021年3月沙盒游戏平台Roblox将“元宇宙”概念放入招股书中，被称为“元宇宙”第一股后，Facebook更名为Meta, 引发全球范围内
TX加入的NFT数字收藏品，元宇宙的破圈之路?

3月7日，澳大利亚 NFT 初创公司 Immutable 在新加坡淡马锡牵头的R资中以估值 25 亿美元完成2亿美元R资，腾讯参投。想必国人最熟知的应该就是TX，作为国内四大互联网