当前位置：首页 > 元宇宙 > AI

俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具：大幅提升 GPU 利用率，对 Llama 3 可实现 26% 加速

来源：责编：时间：2024-06-14 08:44:21 106观看

导读 6 月 11 日消息，俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训

6 月 11 日消息，俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。

据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP速度提高了 20%，并且在高内存压力条件下表现更佳。

例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升，对具有同级参数的 Llama 3 也实现了 26% 的效率提升。附官方数据一览：

模型gpu-countseq-lennum-ckpt-layersspeedupLlama 2 7B64204809.92%Llama 2 7B64409603.43%Llama 2 7B64819202.68%Llama 2 7B128204809.57%Llama 2 7B128409602.42%Llama 2 7B128819202.32%Llama 2 13B1282048012.10%Llama 2 13B128409603.49%Llama 2 34B1282048020.70%Llama 2 34B2562048021.99%Llama 2 34B256409658.35%Llama 2 70B25620481021.48%Llama 2 70B2564096507.17%Llama 3 8B642048011.91%Llama 3 8B64409607.86%Llama 3 70B25620482026.60%

Yandex 表示，通过优化 GPU 使用率，YaFSDP 可以为开发者和公司节省大量资金 —— 每月可能节省数十万美元。

Yandex 的资深开发人员、YaFSDP 团队成员之一 Mikhail Khruschev 还提到，“目前，我们正在积极尝试各种模型架构和参数大小，以扩展 YaFSDP 的通用性” 。

参考资料：

《Яндекс открывает YaFSDP — инструмент для ускорения обучения больших языковых моделей и сокращения расходов на GPU / Хабр》

《GitHub - yandex/YaFSDP: YaFSDP: Yet another Fully Sharded Data Parallel》

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-45-4591-0.html俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具：大幅提升 GPU 利用率，对 Llama 3 可实现 26% 加速

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：苹果高管：正努力将“Apple Intelligence”引入中国市场

下一篇： Copilot Pro 订阅魅力下降，微软 7 月 10 日下线用户自建 GPT 服务

标签：

热门焦点

元宇宙是投资中国的第五次重大机遇

作者为凯思博投资董事长导语：投资逻辑要来自于人性在社会发展过程中的普遍规律，由第一性原理出发找出重大的投资机会来。1978年的改革开放到今天，中国总共经历了
银保监会：打击以“元宇宙”为名义的违法行为

今日，银保监会发布《关于防范以“元宇宙”名义进行非法集资的风险提示》，全文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名目吸收资金，涉
「国产良心」NFT嘲讽了谁？

2月23日，一个名为「国产良心」的NFT项目被许多活跃的加密用户注意到。该项目的官网风格尤为「不正经」，它丝毫没有避讳自己的小作坊出身，还将「中国人不骗中国人
Terra链上TVL跃升至第二

据DefiLlama数据显示，当前,Terra链上应用锁仓的加密资产价值（TVL）为172.1亿美元，在公链板块中已跃升至第二，超越了币安智能链TVL的118亿美元，TVL排名居首的仍为以太
元宇宙画廊体验报告：有点头疼。

2 月 10 日，Hrishi Rajasekar 在旧金山铸币厂的沉浸式 NFT 展览 Verse 观看增强现实艺术品。“我们现在在虚拟世界中吗？时间好像变长了” 我问身后排队的人。我
以太坊面临来自Fantom的巨大挑战

众所周知，区块链和加密货币项目经常因其对环境的影响而受到批评。但是有一个非营利性的加密货币和区块链项目说它比其他的更环保。今天老雅痞就给大家聊一聊加
如何在元宇宙中建立品牌忠诚度

Snoop Dogg、耐克、苏富比和普华永道都有什么共同点？他们都投资于元宇宙的房地产。除了我们在屏幕上看到的二维世界--手机、笔记本电脑、台式机或iPad--他们决
元宇宙存在的意义和价值

科技公司目前都在犹豫，看谁能在元宇宙上押下更大的赌注。然而，除了巨额的资金投入，到底要怎样才能获胜在很大程度上还没有得到证实。它是否仅仅是对当前数字景观
FTX 加密货币交易所开始向游戏公司提供加密服务

据媒体报道，业内领先的加密货币交易所FTX宣布将涉足游戏领域。该公司表示，计划推出自己的游戏部门作为中介，专注于为传统游戏公司提供加密相关服务。此举将有助于