当前位置：首页 > 元宇宙 > AI

AI 架构 Transformer 再进化：谷歌新方法突破长文本处理，注意力模块内存需求可降至 1 47

来源：责编：时间：2024-10-11 16:31:21 6观看

导读 10 月 9 日消息，科技媒体 marktechpost 昨日（10 月 8 日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。Transformer 架构简介Transformer 是一种革命

10 月 9 日消息，科技媒体 marktechpost 昨日（10 月 8 日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。

Transformer 架构简介

Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。

Transformer 的核心是自注意力机制，允许模型在处理输入序列时捕捉词与词之间的关系，让模型能够关注输入序列中的所有部分，而不仅仅是局部信息。

Transformer 由多个编码器和解码器组成。编码器负责理解输入数据，而解码器则生成输出。多头自注意力机制使模型能够并行处理信息，提高了效率和准确性。

Transformer 架构模型挑战

Transformer 架构的一大挑战是它们在处理长文本序列时效率低下，由于每个标记与序列中的每个其他标记都相互作用导致二次复杂度，这就导致随着上下文长度的增加，计算和内存需求呈指数增长。

现在解决这一问题的方法包括稀疏注意力机制（sparse attention mechanisms），它限制了标记之间的交互数量，以及通过总结过去信息来减少序列长度的上下文压缩技术。

不过这种方法是通过减少在注意力机制中考虑的标记数量达成的，因此通常以性能为代价，可能会导致上下文关键信息丢失。

谷歌新方法

谷歌研究的研究人员提出了一种名为选择性注意的新方法，可以动态忽略不再相关的标记，从而提高 Transformer 模型的效率。

选择性注意力使用软掩码矩阵来确定每个标记对未来标记的重要性，减少对不重要标记的关注。

研究表明，配备选择性注意的 Transformer 架构模型在多个自然语言处理任务中表现出色，同时显著降低了内存使用和计算成本。

例如，在拥有 1 亿参数的 Transformer 模型中，注意力模块的内存需求在上下文大小为 512、1024 和 2048 个 tokens 时分别减少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基准测试中也优于传统 Transformer，对于较大的模型规模实现了高达 5% 的准确率提升。

选择性注意力允许构建更小、更高效的模型，在不损害准确性的情况下，显著减少内存需求。

附上参考地址

Selective Attention Improves Transformer

This AI Paper from Google Introduces Selective Attention: A Novel AI Approach to Improving the Efficiency of Transformer Models

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-8696-0.htmlAI 架构 Transformer 再进化：谷歌新方法突破长文本处理，注意力模块内存需求可降至 1 47

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：仅靠微软无法满足激增的 AI 计算需求，OpenAI 被曝和甲骨文合作

下一篇：消息称 Kimi AI 助手内测深度推理功能，月之暗面有团队国庆加班 7 天 3 倍工资

标签：

热门焦点

风口已至，多领域平台融入社交元素！

在众多领域平台中，社交元素都扮演着重要角色，如直播营销带货、线上配对听歌、游戏局内互动等。随着元宇宙时代的来临，社交产品不断升级，社交元素推动流量变现，多平台领域融入社交
元宇宙将会如何塑造未来的工作方式？

科幻小说家尼尔·斯蒂芬森 (Neal Stephenson) 在1992年就创造了“元宇宙”一词，但事实上，在Facebook将其更名为Meta以反映其将这一科幻愿景变为现实的战略重点之
挖来Meta AR高管，难道苹果也要进军元宇宙？

“被曝光”的才是最吸引人的产品，相信有关注过苹果硬件消息的朋友们都明白这样的道理。往近了说有苹果“即将发布”的iPhone SE 3和M2芯片，往远了说有“折叠屏iP
星展银行(DBS)计划推出零售数字资产交易服务

2月14日消息，新加坡星展银行CEO Piyush Gupta在财报会议上表示，计划于2022年年底前推出零售数字资产交易服务。据悉，DBS于2021年初开设了机构数字资产交易平台，全
“虚拟人”角斗场，基于“硬实力”下的人性平衡法则？

在打工人“反内卷”的当下，一众虚拟人却“内卷”了起来。从北京春晚虚拟人苏小妹与刘宇演绎歌舞《星河入梦》，央美毕业的虚拟人夏语冰登上央视节目《对话》，湖南
元宇宙社交啫喱、希壤爆款迭出，腾讯慌了吗？

文 | 陈桥辉没想到腾讯超级QQ秀的20周年归来首秀，被一款名不见经传的产品抢了风头。1月15日，一款名为“啫喱”的社交App迅速在各个互联网的社交圈内火爆起来，引起
从冰墩墩到无聊猿，解秘未来IP爆款的模因

打造IP，是建设元宇宙的刚需。NFT能直接让IP的价值变现；虚拟人IP是元宇宙的第一入口，而元宇宙要搭建的，就是一个个品牌IP星球，考验的是IP世界观的建设能力。如果说在
元宇宙风归何处？

元宇宙持续大火，在过去一段时间内，其屡次登上热点，吸引了一波又一波投资者。近期，在“2022中国·金鱼嘴元宇宙生态赋能大会”上，南京建邺区金鱼嘴基金街区宣布计划
百度虚拟人——AI手语主播首次亮相冬奥会！

除了火遍全国的冰墩墩，虚拟人也成为这届冬奥会的一大亮点元素。以体育明星谷爱凌为原型的数智人Meet Gu最先亮相。在2月5日谷爱凌首秀、2月7日谷爱凌首金的两天