当前位置：首页 > 元宇宙 > AI

可令 AI 自我判断输出内容正确性，谷歌公布模型训练框架 ASPIRE

来源：责编：时间：2024-01-26 17:02:30 157观看

导读 1 月 23 日消息，谷歌日前发布新闻稿，介绍了一款专为大语言模型设计的 ASPIRE 训练框架，该框架号称可以增强 AI 模型的选择性预测能力。谷歌提到，当下大语言模型在自然语言理解和生成内容方面发展迅速，已被用于构建

1 月 23 日消息，谷歌日前发布新闻稿，介绍了一款专为大语言模型设计的 ASPIRE 训练框架，该框架号称可以增强 AI 模型的选择性预测能力。

谷歌提到，当下大语言模型在自然语言理解和生成内容方面发展迅速，已被用于构建各种创新应用，但要应用于高风险决策类场合依然不妥。这是由于模型预测具有不确定性及“幻觉”可能，因此谷歌开发了一款 ASPIRE 训练框架，为系列模型引入了“可信度”机制，即 —— 模型会输出一系列答案，每个答案都会具有正确概率评分。

▲ 图源谷歌新闻稿（下同）

在技术层面，注意到该训练框架主要分为三阶段，分别为“特定任务调整”、“答案采样”和“自我评估学习”。

其中“特定任务调整”阶段是对已接受过基础训练的大型语言模型进行深入训练，专注于强化模型的预测能力。研究人员主要为模型引入一系列可调参数，在特定任务的训练数据集上微调预训练语言模型，从而提升模型预测性能，让模型能够更好地解决特定问题。

第二阶段为“答案采样”，经过特定微调后，模型可以利用先前学习到的可调参数，为每个训练问题生成不同的答案，并创建用于自我评估学习的数据集，生成一系列可信度较高的答案。研究人员同时使用“集束搜索（Beam Search）”方法及 Rouge-L 算法来评估答案的质量，并将生成的答案及评分重新输入给模型开启第三阶段。

而在第三阶段“自我评估学习”中，研究人员为模型添加一组可调参数，专门用于提升模型自我评估能力。该阶段的目标是让模型学会“自己判断输出的答案准确性”，从而让大语言模型在生成答案时，还会附上答案的正确概率评分。

谷歌研究人员使用 CoQA、TriviaQA 和 SQuAD 三个问答数据集来验证 ASPIRE 训练框架的成果，据称“经过 ASPIRE 调整的 OPT-2.7B 小模型，表现远超更大的 OPT-30B 模型”。而这项实验结果也同时表明，只要经过适当的调整，即使是小语言模型，在部分场景下也可以超越大语言模型。

研究人员总结称，ASPIRE 框架训练能够显著提升大语言模型输出准确率，即使是较小的模型，也可以在经过微调后进行“准确且有自信”的预测。

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-3386-0.html可令 AI 自我判断输出内容正确性，谷歌公布模型训练框架 ASPIRE

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：大模型应用 GPT- BI 在中国一汽上线，自然语言查询准确率近 90%

下一篇：免费邀请部分用户体验，微软 Copilot 上线 ChatGPT GPT 功能

标签：

热门焦点

沉寂3年，大模型激活小度天猫精灵？

Tech星球（微信ID：tech618）文 | 何煦阳沉寂了许久的智能音箱，在今年大模型横空出世之后，又再次燃起了新的希望。 2月9日，小度宣布将融合文心一言，打造针对智能设备场景的AI模型&ldq
从科幻走进现实，元宇宙概念逐渐清晰

2021年，元宇宙概念如同一颗炸弹投进互联网行业，掀起了一场数字海啸，众多企业纷纷入局，在此新领域展开新探索。那么，加速狂奔的元宇宙究竟是什么？概念翻红，元宇宙走进资本圈2021年3
2022 区块链 50 强榜单；垃圾NFT项目的十三个特性

本期关键字TerraZero在Decentraland完成元宇宙住房抵押贷款；腾讯发行齐白石画作数字藏品；Ripple成为数字欧元协会成员；Gem上线稀有度排名功能；2022 区块链 50 强榜
英特尔首款加密芯片将于今年上市｜国际动态

No.1 英特尔首款加密芯片将于今年上市2月13日消息，英特尔首款名为“区块链加速器”的加密芯片将于今年晚些时候上市。目前，已经有两家公司预订了这项技术，分别是G
银保监会：打击以“元宇宙”为名义的违法行为

今日，银保监会发布《关于防范以“元宇宙”名义进行非法集资的风险提示》，全文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名目吸收资金，涉
元宇宙是推动NFT发展的初始家园

现在大家都知道了什么是NFT，但好像离自己的生活还有一定距离。随着我们与NFT 接触增加，该如何将这些数字资产带入我们的日常生活？NFT还是主流吗？如果我们将“主流
NFT也有黄牛？这家公司专门对付外挂作弊机器人

澳大利亚前总理马尔科姆·特恩布尔 (Malcolm Turnbull) 是支持萨姆·Crowther (Sam Crowther) 的人之一，Sam是一名出生于纽卡斯尔的黑客，他的职业生涯始于为国防
NFT领域，我们是否应该遵守版权法

NFTs中最有争议的因素之一是你是否真的 "拥有 "你所购买的艺术品。除此之外，围绕着NFT行业内的版权和知识产权盗窃的问题也同样重要，因为人们很容易误解这些事情
我们为什么需要Web3，距离Web3的实现还有多远？

当今技术正在经历着重要的变革，许多公司正在改变他们的经营模式以求变得更加的灵活，其中有很大一部分公司采用了不同的方式来发展自己的业务。其中之一就是Web3，