当前位置：首页 > 元宇宙 > AI

微软推出 FP8 混合精度训练框架：比 BF16 快 64%，内存占用少 42%

来源：责编：时间：2023-11-15 17:03:06 178观看

导读 11 月 10 日消息，大语言模型（LLM）快速崛起，在语言生成和理解方面表现出光明的前景，影响超越了语言领域，延伸到逻辑、数学、物理学等领域。不过想要解锁这些“非凡能量”，需要付出高额的代价，例如训练 540B 模型，需要 P

11 月 10 日消息，大语言模型（LLM）快速崛起，在语言生成和理解方面表现出光明的前景，影响超越了语言领域，延伸到逻辑、数学、物理学等领域。

不过想要解锁这些“非凡能量”，需要付出高额的代价，例如训练 540B 模型，需要 Project PaLM 的 6144 个 TPUv4 芯片；而训练 175B 的 GPT-3，需要数千 Petaflop/s-day。

目前一个不错的解决方案就是低精度训练，可以提高处理速度，降低内存使用量和通信成本。包括 Megatron-LM、MetaSeq 和 Colossal-AI 等主流训练系统，默认使用 FP16 / BF16 混合精度或 FP32 全精度来训练大型语言模型。

虽然这些精度水平对于大语言模型来说是必不可少的，但它们的计算成本很高。

如果采用 FP8 低精度，可以将速度提高 2 倍、内存成本降低 50% 至 75%，并且可节省通信成本。

目前只有 Nvidia Transformer Engine 兼容 FP8 框架，主要利用这种精度进行 GEMM（通用矩阵乘法）计算，同时以 FP16 或 FP32 高精度保持主权重和梯度。

为了应对这一挑战，来自 Microsoft Azure 和 Microsoft Research 的一组研究人员推出了一个高效的 FP8 混合精度框架，专为大型语言模型训练量身定制。

微软引入了三个优化阶段，利用 FP8 进行分布式和混合精度训练。随着这些层级的进展，FP8 集成程度的提高变得明显，这表明对 LLM 训练过程的影响更大。

此外为了克服数据溢出或下溢等问题，微软研究人员提出自动采样和精确解耦两种关键方法，前者涉及对精度不敏感的组件降低精度，动态调整 Tensor 采样因子，以确保梯度值保持在 FP8 表示范围内。这可以防止全减少通信期间的下溢和溢流事件，确保培训过程更加顺畅。

微软经过测试，与广泛采用的 BF16 混合精度方法相比，内存占用减少 27% 至 42%，权重梯度通信开销显著降低 63% 至 65%。运行速度比广泛采用的 BF16 框架（例如 Megatron-LM）快了 64%，比 Nvidia Transformer Engine 的速度快了 17%。

在训练 GPT-175B 模型时，混合 FP8 精度框架在 H100 GPU 平台上节省 21% 的内存，而且相比较 TE（Transformer Engine），训练时间减少 17%。

在此附上 GitHub 地址和论文地址：https://doi.org/10.48550/arXiv.2310.18313

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-2519-0.html微软推出 FP8 混合精度训练框架：比 BF16 快 64%，内存占用少 42%

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： GitHub Copilot Enterprise 明年 2 月推出，允许企业整合自家代码模型创建专用 AI 助手

下一篇： Humane 可穿戴设备 Ai Pin 正式发布：手掌内投影、语音手势交互，699 美元加月订阅费

标签：

热门焦点

内容行业大变天，爆款全靠AI？

出品 | 微果酱（wjam123456）作者 | 陈出木题图 | 文心一格 AI的发展之快出乎所有人的预料，似乎一夜之间便呼啸而来。无论是资本的风向标，抑或是生活工作的辅助、流量口，还是茶余饭
FMIFAwards奖项即将揭晓！

来源：X增强现实FMIF Awards未来元宇宙创新奖是由未来元宇宙创新论坛、ARinChina以及多家投资机构、媒体、研究院联合发起的一项评选活动。旨在推动新技术的融合与集成低成本
蓝标亏钱、Meta裁员：天下秀还值得砸钱元宇宙吗？

日前，天下秀数字科技集团正式公布了2022年报及2023年一季报。报告显示，2022年天下秀实现营收41.29亿元，同比下滑8.48%；归母净利润1.8亿元，同比下滑49.2%，几乎出现了盈利腰斩的态势
从科幻走进现实，元宇宙概念逐渐清晰

2021年，元宇宙概念如同一颗炸弹投进互联网行业，掀起了一场数字海啸，众多企业纷纷入局，在此新领域展开新探索。那么，加速狂奔的元宇宙究竟是什么？概念翻红，元宇宙走进资本圈2021年3
元宇宙这一年：技术加速落地，助传统行业走向新阶段

美国当地时间1月8日，2023年CES（消费电子展览会）完美落幕。而在这项一年一度的科技圈盛事中，元宇宙仍是主角和焦点之一。索尼在1月6日发布了备受关注的PS VR 2头显
多地释放积极信号，元宇宙正成为地方争先竞逐的主战场？

2月21日，2022中国·金鱼嘴元宇宙生态赋能大会在南京建邺区金鱼嘴基金街区举办，南京建邺区金鱼嘴基金街区宣布计划出资1亿元，支持元宇宙行业发展。同时，会上发布了
虚拟数字人：元宇宙的主角破圈而来

虚拟数字人市场逐步进入成熟期，商业化进程加速。1982年世界第一位虚拟歌姬林明美诞生，虚拟数字人行业经历了萌芽、探索、初级和成长四个阶段。随技术逐年突破，制
为什么元宇宙将永远改变体育和你的生活？

自从Facebook更名为Meta以来，Metaverse这个词已经被大家所熟知。但是当Metaverse仍然被许多人视为一个虚拟的平行世界时，一些项目已经显示出Metaverse将如何永远
元宇宙平台会是上世纪末的互联网吗？

“元宇宙”火了好几个月，互联网大厂忙于布局，资本市场热烈追捧。然而很多人还是看不明白，更多的人觉得这是一场泡沫，一场骗局。一开始接触这个怪里怪气的名词，感觉