当前位置：首页 > 元宇宙 > AI

英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型：专为角色扮演设计，9216 MLP、上下文长度 4096 词元

来源：责编：时间：2024-09-19 16:25:52 12观看

导读 9 月 15 日消息，科技媒体 marktechpost 昨日（9 月 14 日）发布博文，报道称英伟达开源了 Nemotron-Mini-4B-Instruct AI 模型，标志着该公司在 AI 领域创新又一新篇章。小语言模型的大潜力Nemotron-Mini-4B-Instruct

9 月 15 日消息，科技媒体 marktechpost 昨日（9 月 14 日）发布博文，报道称英伟达开源了 Nemotron-Mini-4B-Instruct AI 模型，标志着该公司在 AI 领域创新又一新篇章。

小语言模型的大潜力

Nemotron-Mini-4B-Instruct AI 模型专为角色扮演、检索增强生成（RAG）及函数调用等任务设计，是一个小语言模型（SLM），通过蒸馏（distilled）和优化更大的 Nemotron-4 15B 获得。

英伟达使用剪枝（pruning）、量化（quantization）和蒸馏（distillation）等先进 AI 技术，让该模型更小巧高效，尤其适用于设备端部署。

这种缩小化并未影响模型在角色扮演和功能调用等特定场景下的性能，让其成为需要快速按需响应的应用的实用选择。

该模型在 Minitron-4B-Base 模型上微调，采用了 LLM 压缩技术，最显著的特点之一是其能够处理 4096 个上下文窗口词元（token），能够生成更长且更连贯的回复。

架构与技术规格

Nemotron-Mini-4B-Instruct 以其强大的架构著称，确保了高效性与可扩展性。

该模型的 Embedding Size（决定了转化后的向量的维度）尺寸为 3072，多头注意力（Multi-Head Attention）为 32 个，MLP 中间维度为 9216，在处理大规模输入数据集时，仍能以高精度和相关性作出响应。

此外，模型还采用了组查询注意力（GQA）和旋转位置嵌入（RoPE）技术，进一步提升了其处理与理解文本的能力。

该模型基于 Transformer 解码器架构，是一种自回归语言模型。这意味着它根据前面的标记生成每个标记，非常适合对话生成等任务，其中对话的连贯流畅至关重要。

角色扮演与功能调用应用

Nemotron-Mini-4B-Instruct 在角色扮演应用领域表现尤为突出。凭借其庞大的标记容量和优化的语言生成能力，它可以嵌入到虚拟助手、视频游戏或任何其他需要 AI 生成关键响应的交互式环境中。

英伟达提供了一种特定的提示格式，以确保模型在这些场景中，尤其是在单轮或多轮对话中，输出最佳结果。

该模型还针对函数调用进行了优化，在 AI 系统必须与 API 或其他自动化流程交互的环境中变得越来越重要。生成准确、功能性响应的能力使得该模型非常适合 RAG 场景，即模型需要创建文本并从知识库中检索和提供信息。

附上参考地址

Nvidia Open Sources Nemotron-Mini-4B-Instruct: A 4,096 Token Capacity Small Language Model Designed for Roleplaying, Function Calling, and Efficient On-Device Deployment with 32 Attention Heads and 9,216 MLP

Nemotron-Mini-4B-Instruct

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-7491-0.html英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型：专为角色扮演设计，9216 MLP、上下文长度 4096 词元

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：日本家电卖场巨头 Nojima 推出“AI 社长”，用于培养公司内部人才

下一篇：研究显示美国青少年热衷生成式 AI，家长大多不知情

标签：

热门焦点

AI界地震！美国对OpenAI展开调查！监管风暴来袭！

来源：清元宇宙还记得5月OpenAI在国会山听证会上的自信、坦诚、游刃有余的问答吗？那时的Sam Altman可谓意气风发，在耐心、友好的国会议员面前，就AI立法、大模型安全性问题侃侃而
元宇宙的文旅赛道，还能如何发力？

来源：X增强现实苹果推出Vision Pro，为XR行业注入一剂强心针。而在苹果开发者大会上迪士尼CEO鲍勃·艾格在宣布迪士尼与苹果达成合作，其Disney+流媒体服务将于Vision Pro
雷克萨斯高管，“受贿”5000万？

来源：毒舌科技作者：潘磊雷克萨斯的高管，好像出事了。五六家日本小媒体，突然曝出了一个与中国市场有关的大新闻——雷克萨斯中国区一个高管受贿10亿日元（约合人民币5000
“任何国产元宇宙都是假元宇宙”

上个月，华语乐坛的优质偶像之一，DOTA2资深玩家林俊杰，在国外元宇宙产品分布式大陆(Decentraland)上买了三块虚拟地产，花了12.3万美元（也就是人民币接近80万）。截至目
如何对一款 NFT 项目进行价值评估？

原文作者 | Othmane Senhaji Rhazi，Web 3 企业家.编译整理 | 黑米@白泽研究院我之所以成为一位大力倡导 Web3 和 NFT 领域的企业家，因为我相信我们正在见证社会
米哈游推出元宇宙品牌；VR/AR老牌企业当红齐天完成B轮+融资

今日热点：苹果AR/VR头显的FaceTime或基于Memojis和SharePlay构建而成；VR/AR老牌企业当红齐天完成B轮+融资；米哈游推出元宇宙品牌HoYoverse；国产VR射击游戏《Contra
中国区块链产业生态地图报告（2021）

区块链是技术整合创新、金融创新、组织方式创新、产业应用创新的多维度创新，以服务实体经济、政务民生以及公共服务等领域为落脚点，以期实现整个地区和产业的资
传统互联网与区块链场景下数据权利法律分析

数据权益的复杂性在于数据涉及多环节多主体、内容不同质且与不同场景紧密联系、对软硬件技术环节紧密相关等方面的复杂性。在传统互联网与区块链模式下，数据处
头像类NFTs的统治能持续多久？

在过去的一两年里，NFTs在互联网世界中掀起了一场风暴。今天，当我们想到NFTs时，我们主要想到的是那些充斥着我们的社交媒体屏幕的数字卡通--无聊猿、punks 和介于