当前位置：首页 > 元宇宙 > AI

AI 架构 Transformer 再进化：谷歌新方法突破长文本处理，注意力模块内存需求可降至 1 47

来源：责编：时间：2024-10-11 16:31:21 5观看

导读 10 月 9 日消息，科技媒体 marktechpost 昨日（10 月 8 日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。Transformer 架构简介Transformer 是一种革命

10 月 9 日消息，科技媒体 marktechpost 昨日（10 月 8 日）发布博文，报道称谷歌公司推出了选择性注意力（Selective Attention）方法，可以提高 Transformer 架构模型的性能。

Transformer 架构简介

Transformer 是一种革命性的神经网络架构，由谷歌在 2017 年提出，主要用于处理序列数据，特别是在自然语言处理（NLP）领域。

Transformer 的核心是自注意力机制，允许模型在处理输入序列时捕捉词与词之间的关系，让模型能够关注输入序列中的所有部分，而不仅仅是局部信息。

Transformer 由多个编码器和解码器组成。编码器负责理解输入数据，而解码器则生成输出。多头自注意力机制使模型能够并行处理信息，提高了效率和准确性。

Transformer 架构模型挑战

Transformer 架构的一大挑战是它们在处理长文本序列时效率低下，由于每个标记与序列中的每个其他标记都相互作用导致二次复杂度，这就导致随着上下文长度的增加，计算和内存需求呈指数增长。

现在解决这一问题的方法包括稀疏注意力机制（sparse attention mechanisms），它限制了标记之间的交互数量，以及通过总结过去信息来减少序列长度的上下文压缩技术。

不过这种方法是通过减少在注意力机制中考虑的标记数量达成的，因此通常以性能为代价，可能会导致上下文关键信息丢失。

谷歌新方法

谷歌研究的研究人员提出了一种名为选择性注意的新方法，可以动态忽略不再相关的标记，从而提高 Transformer 模型的效率。

选择性注意力使用软掩码矩阵来确定每个标记对未来标记的重要性，减少对不重要标记的关注。

研究表明，配备选择性注意的 Transformer 架构模型在多个自然语言处理任务中表现出色，同时显著降低了内存使用和计算成本。

例如，在拥有 1 亿参数的 Transformer 模型中，注意力模块的内存需求在上下文大小为 512、1024 和 2048 个 tokens 时分别减少至 1/16、1/25 和 1/47。所提方法在 HellaSwag 基准测试中也优于传统 Transformer，对于较大的模型规模实现了高达 5% 的准确率提升。

选择性注意力允许构建更小、更高效的模型，在不损害准确性的情况下，显著减少内存需求。

附上参考地址

Selective Attention Improves Transformer

This AI Paper from Google Introduces Selective Attention: A Novel AI Approach to Improving the Efficiency of Transformer Models

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-8656-0.htmlAI 架构 Transformer 再进化：谷歌新方法突破长文本处理，注意力模块内存需求可降至 1 47

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：仅靠微软无法满足激增的 AI 计算需求，OpenAI 被曝和甲骨文合作

下一篇：消息称 Kimi AI 助手内测深度推理功能，月之暗面有团队国庆加班 7 天 3 倍工资

标签：

热门焦点

三院士三教授热聊元宇宙&——AIGC，学术界怎么看？

来源：清元宇宙在近日举办的中国江宁2023元宇宙产业·人才高峰论坛暨AIGC发展大会上，中国工程院院士谭建荣、刘韵洁、郑纬民出席并发表了主旨演讲。除了三大院士，还有清华
星展银行(DBS)计划推出零售数字资产交易服务

2月14日消息，新加坡星展银行CEO Piyush Gupta在财报会议上表示，计划于2022年年底前推出零售数字资产交易服务。据悉，DBS于2021年初开设了机构数字资产交易平台，全
2022年最具关注的9个头像NFT项目

什么是 PFP NFT 项目？PFP NFT （个人资料图片NFT）是一组独特的数字收藏品，人们用来在互联网平台上代表自己。这些数字艺术作品通常是一系列可作为头像的角色，在 Twit
国内涌现70余家数字藏品平台：合规、流量与利润在博弈

作者：杨郑君2月16日，迅雷链企业数字藏品服务平台正式上线，继阿里、腾讯、京东、百度、网易等之后，又一家互联网企业正式加入到火热的数字藏品平台的竞争中。除互联
餐桌上怎么变出元宇宙？

作者：星影“元宇宙让餐饮业脱胎换骨。”实体的餐饮与虚拟的元宇宙，看起来风马牛不相及，但最近全世界的餐饮企业都掀起了一股注册元宇宙商标的热潮。2月初，全球最大
2030年的元宇宙产业将会如何发展？

对互联网巨头传统业务的反垄断政策倒逼互联网企业颠覆创新，寻找新的增长点，移动互联网流量空间见顶之际，元宇宙时代红利已然开启。序章：元宇宙应用场景大猜想元宇
元宇宙画廊体验报告：有点头疼。

2 月 10 日，Hrishi Rajasekar 在旧金山铸币厂的沉浸式 NFT 展览 Verse 观看增强现实艺术品。“我们现在在虚拟世界中吗？时间好像变长了” 我问身后排队的人。我
元宇宙收割了谁

作者：晓宇资本将元宇宙看作下一代互联网的门票，画大饼、割韭菜就成了一大选项。2021年被称为元宇宙元年。在这一年里，先是号称元宇宙第一股的沙盒游戏Roblox盛装
虚拟偶像行业的商用价值逐渐凸显，IP生态圈也逐渐成型

六月的第一个周六，一场虚拟偶像七海Nana7mi的个人3D演唱会在万代南梦宫上海文化中心举行，相较于洛天依、百大UP主泠鸢yousa等，这位虚拟Up主在B站上的粉丝数43.6万