当前位置：首页 > 元宇宙 > AI

Databricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

来源：责编：时间：2024-04-02 17:06:18 93观看

导读 3 月 31 日消息，Databricks 近日在推出了一款通用大语言模型 DBRX，号称是“目前最强开源AI”，据称在各种基准测试中都超越了“市面上所有的开源模型”。从官方新闻稿中得知，DBRX 是一个基于 Transformer 的大语言

3 月 31 日消息，Databricks 近日在推出了一款通用大语言模型 DBRX，号称是“目前最强开源AI”，据称在各种基准测试中都超越了“市面上所有的开源模型”。

从官方新闻稿中得知，DBRX 是一个基于 Transformer 的大语言模型，采用 MoE（Mixture of Experts）架构，具备 1320 亿个参数，并在 12T Token 的源数据上进行预训练。

研究人员对这款模型进行测试，相较于市场上已有的 LLaMA2-70B、Mixtral、Grok-1 等开源模型，DBRX 在语言理解（MMLU）、程式设计（HumanEval）及数学逻辑（GSM8K）等基准测试上的表现较为突出。官方同时提到，DBRX 在上述 3 项基准测试中也超越了 OpenAI 的 GPT-3.5。

Databricks AI 部分副总裁 Naveen Rao 向外媒 TechCrunch 透露，该公司花了两个月及 1000 万美元的成本来训练 DBRX，虽然目前 DBRX 在整体成绩方面发挥较好，不过目前该模型需要使用 4 块英伟达 H100 GPU 运行，因此还有待优化空间。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3786-0.htmlDatabricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：防止聊天机器人“造谣”，谷歌 Deepmind、斯坦福大学研究人员推出 AI 事实核查工具

下一篇：谷歌：手机运行人工智能模型将占用大量内存

标签：

热门焦点

《蜘蛛侠》火了，超级英雄就该这么演

燃次元（ID:chaintruth）原创作者 | 陶淘编辑 | 曹拿下豆瓣8.8分、IMDB 9.1的高分，6月2日在全球同步上映的《蜘蛛侠：纵横宇宙》（以下简称《蜘蛛侠》），上映不足一周，便在国内“
比特币的价格越高，使用价值越大

隔夜比特币还是在精准地横盘在42k上方。空头昨日试图发起一波小的攻势，但是晚上就被多头掰了回来。以太坊的链上gas price降到了60 gwei以下，彰显着市场活跃度的
“虚拟人”角斗场，基于“硬实力”下的人性平衡法则？

在打工人“反内卷”的当下，一众虚拟人却“内卷”了起来。从北京春晚虚拟人苏小妹与刘宇演绎歌舞《星河入梦》，央美毕业的虚拟人夏语冰登上央视节目《对话》，湖南
Shiba Inu布局元宇宙走出Meme局限

以「狗狗币杀手」成名的Shiba Inu（SHIB）在人们的印象中始终有着浓厚的Meme（模因恶搞）烙印，但它似乎一直在尝试突破这种局限。建立起一个庞大的粉丝社区后，Shiba Inu
本周NFT领域重要资讯回顾

NFT在苏富比拍卖是一波三折的吗？其实不完全如此，但本周在苏富比拍卖行发生了一系列有趣的事。与此同时，美联社因其最新的NFT销售被推到了风口浪尖，而Opensea正面临
美国单曲排行榜Billboard和World of Women合作推出NFT杂志封面

今天，Billboard宣布与流行的NFT头像集World of Women（WoW）建立新的伙伴关系，向NFT生态系统又迈进了一步。在这次合作中，WoW的创建者Yam Karkai将帮助这个音乐行业巨
技术赋能，国内首家宠物元宇宙平台“Pet Meta”开启虚拟养宠新方式

作者:易明未来，Pet Meta数字宠物藏品将是链接全球数亿爱宠人群与元宇宙世界独一无二的身份象征。首家面向国内的宠物元宇宙平台Pet Meta生长于“宠物经济”快速
我们为什么需要Web3，距离Web3的实现还有多远？

当今技术正在经历着重要的变革，许多公司正在改变他们的经营模式以求变得更加的灵活，其中有很大一部分公司采用了不同的方式来发展自己的业务。其中之一就是Web3，
浅聊DAO图景和未来

DAO是什么？DAO (Decentralized Autonomous Organizations),去中心化自治组织，是基于区块链技术，由社区通过透明的决策过程运行和管理的组织形态。DAO使得社区成为