当前位置：首页 > 科技 > 数码

突破大算力瓶颈：华为支持超万亿参数大模型训练等效于18000张卡

来源：责编：时间：2023-09-25 10:36:33 240观看

导读快科技9月22日消息，在华为全联接大会2023期间，华为正式发布全新架构的昇腾AI计算集群——Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。华为常务董事、ICT基础设施业务管理委员会主任、企

快科技9月22日消息，在华为全联接大会2023期间，华为正式发布全新架构的昇腾AI计算集群——Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。

华为常务董事、ICT基础设施业务管理委员会主任、企业BG总裁汪涛介绍，新集群采用全新的华为星河AI智算交换机CloudEngine XH16800，借助其高密的800GE端口能力，两层交换网络即可实现2250节点（等效于18000张卡）超大规模无收敛集群组网。

新集群同时使用了创新的超节点架构，大大提升了大模型训练能力。

此外，发挥华为在计算、网络、存储、能源等领域的综合优势，从器件级、节点级、集群级和业务级全面提升系统可靠性，将大模型训练稳定性从天级提升到月级。

为了加速大模型创新，华为发布了更开放、更易用的CANN7.0，不仅全面兼容业界的AI框架、加速库和主流大模型，还深度开放底层能力，让AI框架和加速库可以更直接地调用和管理计算资源，使能开发者自定义高性能算子。

汪涛表示，随着人工智能进入大模型时代，大算力正在成为人工智能发展的核心引擎。华为改变传统的服务器堆叠模式，以系统架构创新打造AI集群，实现算力、运力、存力的一体化设计，突破大算力瓶颈。

突破大算力瓶颈：华为支持超万亿参数大模型训练等效于18000张卡

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-24-11357-0.html突破大算力瓶颈：华为支持超万亿参数大模型训练等效于18000张卡

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 5999元起联想YOGA 27 2023一体机今日开售：顶配RTX 4050独显

下一篇：固态硬盘4K读写重要么？

标签：

热门焦点

直屏旗舰来了 iQOO 12和K70 Pro同台竞技

旗舰机基本上使用的都是双曲面屏幕，这就让很多喜欢直屏的爱好者在苦等一款直屏旗舰，这次，你们等到了。据博主数码闲聊站带来的最新爆料称，Redmi下代旗舰K70 Pro和iQOO 12两款手
Automa-通过连接块来自动化你的浏览器

1、前言通过浏览器插件可实现自动化脚本的录制与编写，具有代表性的工具就是：Selenium IDE、Katalon Recorder，对于简单的业务来说可快速实现自动化的上手工作。Selenium IDEKat
让我们一起聊聊文件的操作

文件【1】文件是什么？文件是保存数据的地方，是数据源的一种，比如大家经常使用的word文档、txt文件、excel文件、jpg文件...都是文件。文件最主要的作用就是保存数据，它既可以保
ESG的面子与里子

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之三伏大幕拉起，各地高温预警不绝，但处于厄尔尼诺大“烤”之下的除了众生，还有各大企业发布的ESG报告。ESG是“环境保
认真聊聊东方甄选：如何告别低垂的果实

来源：山核桃作者：财经无忌爆火一年后，俞敏洪和他的东方甄选依旧是颇受外界关心的“网红”。7月5日至9日，为期5天的东方甄选“甘肃行”首次在自有App内直播，
华为将推出盘古数字人大模型可帮助用户12小时完成数字人生成

在今日举行的2023年华为云数字文娱AI创新峰会上，华为云全球Marketing与销售服务总裁石冀琳表示，华为云将在后续推出盘古数字人大模型，可帮助用户12小
机构称Q2国内智能手机销量同比下滑4% vivo份额重回第1

7月29日消息，根据市场调查机构Counterpoint Research公布的最新报告，2023年第2季度中国智能手机销量同比下降4%，创新自2014年以来第2季度销量新低。报
iQOO Neo8 Pro抢先上架：首发天玑9200+ 安卓性能之王

经过了一段时间的密集爆料，昨日iQOO官方如期对外宣布：将于5月23日推出全新的iQOO Neo8系列新品，官方称这是一款拥有旗舰级性能调校的作品。随着发布时
朋友圈可以修改可见范围了苹果用户可率先体验

近日，iOS用户迎来微信8.0.27正式版更新，除了可更换二维码背景外，还新增了多项实用功能。在新版微信中，朋友圈终于可以修改可见范围，简单来说就是已发布的朋友圈