当前位置：首页 > 元宇宙 > AI

谷歌 DeepMind 展示 GenRM 技术：微调 LLMs 作为奖励模型，提升生成式 AI 推理能力

来源：责编：时间：2024-09-05 16:21:36 19观看

导读 9 月 3 日消息，谷歌 DeepMind 团队于 8 月 27 日在 arxiv 上发表论文，介绍展示了 GenRM 生成式验证器，创造性提出奖励模型，从而提升生成式 AI 推理能力。AI 行业内，目前提高大语言模型（LLMs）的主流做法就是 Best-of-

9 月 3 日消息，谷歌 DeepMind 团队于 8 月 27 日在 arxiv 上发表论文，介绍展示了 GenRM 生成式验证器，创造性提出奖励模型，从而提升生成式 AI 推理能力。

AI 行业内，目前提高大语言模型（LLMs）的主流做法就是 Best-of-N 模式，即由 LLM 生成的 N 个候选解决方案由验证器进行排序，并选出最佳方案。

这种基于 LLM 的验证器通常被训练成判别分类器来为解决方案打分，但它们无法利用预训练 LLMs 的文本生成能力。

DeepMind 团队为了克服这个局限性，尝试使用下一个token 预测目标来训练验证器，同时进行验证和解决方案生成。

DeepMind 团队这种生成式验证器（GenRM），相比较传统验证器，主要包含以下优点：

无缝集成指令调整

支持思维链推理

通过多数投票利用额外的推理时间计算

在算法和小学数学推理任务中使用基于 Gemma 的验证器时，GenRM 的性能优于判别式验证器和 LLM-as-a-Judge 验证器，在使用 Best-of-N 解决问题的百分比上提高了 16-64%。

据 Google DeepMind 报道，GenRM 相对于分类奖励模型的边标志着人工智能奖励系统的关键演化，特别是在其容量方面，以防止新模型学成到的欺诈行为。这一进步突出表明，迫切需要完善奖励模型，使人工智能输出与社会责任标准保持一致。

附上参考地址

Google DeepMind Researchers Propose GenRM: Training Verifiers with Next-Token Prediction to Leverage the Text Generation Capabilities of LLMs

Generative Verifiers: Reward Modeling as Next-Token Prediction

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-6708-0.html谷歌 DeepMind 展示 GenRM 技术：微调 LLMs 作为奖励模型，提升生成式 AI 推理能力

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： IDC 首次发布移动端 AI 大模型应用报告：百度文心一言发展较全面、抖音豆包用户活跃度表现出色

下一篇： OpenAI ChatGPT 被曝将新增 8 种新语音：更自然表达狗叫等动物声音

标签：

热门焦点

元宇宙的文旅赛道，还能如何发力？

来源：X增强现实苹果推出Vision Pro，为XR行业注入一剂强心针。而在苹果开发者大会上迪士尼CEO鲍勃·艾格在宣布迪士尼与苹果达成合作，其Disney+流媒体服务将于Vision Pro
三院士三教授热聊元宇宙&——AIGC，学术界怎么看？

来源：清元宇宙在近日举办的中国江宁2023元宇宙产业·人才高峰论坛暨AIGC发展大会上，中国工程院院士谭建荣、刘韵洁、郑纬民出席并发表了主旨演讲。除了三大院士，还有清华
内容行业大变天，爆款全靠AI？

出品 | 微果酱（wjam123456）作者 | 陈出木题图 | 文心一格 AI的发展之快出乎所有人的预料，似乎一夜之间便呼啸而来。无论是资本的风向标，抑或是生活工作的辅助、流量口，还是茶余饭
元宇宙风口下，视觉中国如何重估？

要说横跨2021年和2022年，到目前仍然很火的概念，元宇宙肯定要算一个。不仅互联网巨头们纷纷布局，上市公司们趋之若鹜，还被不少地方政府写入了产业规划，大有在2022年
NFT的未来：传统企业与去中心化机构之间的竞赛

传统企业和去中心化机构一直存在分歧，但最近NFT的爆炸式增长让他们产生了共同的兴趣，双方都在竞相让用户更轻松、更方便地使用NFT。毫无疑问，NFT 市场正在增长。
量子计算在未来能否提高区块链技术的效率

区块链技术的主要成功之处在于对不透明的金融流程进行了去中心化的访问量子计算机的内在目标是解决传统计算机不可能解决的问题随着区块链技术的使用案例逐渐
a16z：元宇宙办公会取代实体办公室吗？

6位不同的专家对未来的工作发表看法----元宇宙--沉浸式的、基于区块链的虚拟世界，大多数日常活动最终会在这里发生--但仍然只是一个概念。但它是一个拥有宝贵不
NFT自动售货机来啦！

“纽约市有一台售卖 Solana NFT 的自动售货机，用信用卡就能买”Solana NFT 市场 Neon 可让您使用信用卡亲自购买 NFT，无需使用加密货币。由于基于 Solana 链的 N
Interface正大光明的“跑路”，社区成员赞格局大

今日凌晨，一个广泛受社区期待的潜力蓝筹项目Interfaces突然发文宣布项目停止运营，后续也不会有铸造NFT系列的活动。这对社区来说就是一重磅炸弹，大多数人完全不明