当前位置：首页 > 科技 > 芯片

基于第四代英特尔®至强®可扩展处理器的浪潮云海超融合压缩和纠删功能设计

来源：责编：时间：2023-11-20 17:13:46 187观看

导读浪潮云海InCloud Rail超融合一体机通过软件定义计算、存储和网络技术实现服务器的资源池化，为整个IT环境提供更高的可用性、安全性和扩展性，能够满足企业对于降低成本、简化管理、提高安全性和扩展性的需求，助力企业迁移

浪潮云海InCloud Rail超融合一体机通过软件定义计算、存储和网络技术实现服务器的资源池化，为整个IT环境提供更高的可用性、安全性和扩展性，能够满足企业对于降低成本、简化管理、提高安全性和扩展性的需求，助力企业迁移核心业务上云，构建企业云数据中心。

面向海量的数据处理需求，浪潮云海超融合一体机提出一种融合压缩和纠删功能于一体的数据存储空间优化方案，该方案基于英特尔®至强®可扩展处理器提供的QAT加速器实现压缩功能，同时使用英特尔®智能加速库实现纠删功能，可同时支持数据压缩和纠删。在超融合一体机的海量应用归档数据场景，它需要在应用运行质量较少受影响的前提下，尽可能提升数据存储效率。在控制成本的前提下，开启同时支持压缩和纠删特性，对于数据库应用节省存储空间最高可达70.5%，且对性能的影响较低，能够助力用户提升数据库系统的投资收益、释放数据价值。

浪潮云海超融合一体机分布式存储InCloud dSAN

InCloud dSAN是浪潮云海超融合一体机中新一代的软件定义存储产品，面向用户在私有云、大数据、高性能应用、云原生、云边协同等多元化的应用场景。随着Intel 新一代CPU、NVMe硬盘、RDMA智能网卡等高性能物理硬件普及，InCloud dSAN在系统设计方面根据新一代物理硬件特点设计多种特色功能：

全异步和无锁化的编程技术，发挥CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存储开发套件，引入Reactor、Thread、Poller三层逻辑抽象，设计轮询、异步化、无锁的软件框架，从网络、磁盘、管理等模块发挥CPU多核能力。
多种链路传输技术，支持多种组网形态：设计全栈RDMA功能，从虚拟机、存储协议层、副本数据转发层等内部网络传输方面，支持全栈的用户态RDMA链路传输，利用RDMA零拷贝特性降低时延。
全新的存储引擎设计，发挥NVMe极致性能：设计基于裸盘读写的全新引擎，设计元数据、日志、数据等逻辑空间，实现元数据管理、数据分配和I/O调度等逻辑。特别是针对NVMe硬盘，基于SPDK存储开发套件中的用户态NVMe库实现特有的NVMe存储引擎。

InCloud Rail一体机产品全景图

浪潮云海超融合在新一代G7硬件平台的压缩和纠删功能设计

在超融合的应用场景中，针对金融、医疗等行业的数据库应用不仅对实时读写、随机I/O访问和大规模数据集等场景对存储性能有极高要求，同时对于归档数据的存储空间也提出了新的需求，如医疗行业常见的PACS（Picture Archiving and Communication System）影像归档和通信系统，将日常产生的医学影像（包括核磁、CT、超声等图像）通过数字化方式海量存储，同时在需要时可快速调回查看，对存储系统归档和性能有较高的要求。为了应对此场景，浪潮云海新一代超融合一体机的InCloud dSAN设计了新型的数据压缩和纠删功能，该功能集成英特尔®QAT加速器和ISA-L加速库，在原有的高性能设计方案基础上满足了极致性能和极致数据压缩两种需求。

压缩和纠删方案主要思想：将压缩和纠删计算放置于缓存下刷阶段，可以避免在I/O访问过程中的压缩和纠删计算的性能损耗。通过智能的缓存管理，保障了热点数据的I/O访问集中在缓存层，避免在数据访问过程中的透写。

InCloud dSAN压缩和纠删功能设计架构图

数据分层管理：将数据存储划分为缓存层和数据层，其中缓存层使用高性的NVMe和Sata SSD存储，同时在缓存层使用多副本的设计，提供高性能数据存储能力。数据层提供冷数据存储，主要由HDD硬盘存储，提供高容量存储空间。
智能缓存管理：设计冷热分层的智能缓存管理，高效识别热点数据和冷数据。可支持针对特定的数据设置优先级，保证需要支持压缩和纠删的数据区域可优先保存于缓存空间中。
数据空间高效存储：在缓存层中由于副本存储，将上层应用的小块IO聚合，当数据变成冷数据下刷至存储层时，由于下刷采用数据对齐，可聚合成大块的顺序条带读写，可以在数据层进行高效的数据存储。
压缩和EC加速计算：在缓存层数据下刷时，首先经过QAT压缩处理，经过压缩的数据调用EC计算，将纠删和压缩数据存放到数据存储层。

为了验证该方案的性能，测试数据采用在金融和医疗等行业常见的基础Linux虚拟机镜像、Windows系统的SQLServer数据库，及Linux系统的Oracle数据库应用。调整QAT压缩的等级及ISA-L的EC纠删K/M模型，测试在不同的模型压缩、纠删及压缩和纠删后的节省空间，从测试结果分析，同时开启QAT和EC纠删最大空间可以节省比例达70.5%。

压缩和纠删功能空间节省对比图

收益

充分发挥第四代英特尔®至强®可扩展处理器内置的英特尔®QAT加速器能力，QAT加速器对于数据库应用节省数据空间为58.4%，EC纠删根据不同的K/M模型可计算节省空间比例，在指定特定K/M模型压缩和纠删功能可节省70.5%。

总结

浪潮云海InCloud Rail新一代超融合一体机，依托于英特尔®QAT和ISA-L软件加速库技术，设计可同时支持压缩、纠删、"压缩和纠删"等不同的空间节省方案，采用独特的数据分层、智能缓存管理、软件硬协同等设计，完美解决了兼顾高性能、高数据冗余度和高存储空间利用率等技术难题。

稿源：美通社

本文链接：//www.dmpip.com//www.dmpip.com/showinfo-27-31509-0.html基于第四代英特尔®至强®可扩展处理器的浪潮云海超融合压缩和纠删功能设计

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：微软与NVIDIA扩大云端AI合作，加速硬件创新

下一篇：三星电机宣布在墨西哥建设新工厂

标签：

热门焦点

红魔电竞平板评测：大屏幕硬实力

前言：三年的疫情因为要上网课的原因激活了平板市场，如今网课的时代已经过去，大家的生活都恢复到了正轨，这也就意味着，真正考验平板电脑生存的环境来了。也就是面对着这种残酷的
让我们一起聊聊文件的操作

文件【1】文件是什么？文件是保存数据的地方，是数据源的一种，比如大家经常使用的word文档、txt文件、excel文件、jpg文件...都是文件。文件最主要的作用就是保存数据，它既可以保
这款新兴工具平台，让你的电脑效率翻倍

随着信息技术的发展,我们获取信息的渠道越来越多,但是处理信息的效率却成为一个瓶颈。于是各种工具应运而生,都在争相解决我们的工作效率问题。今天我要给大家介绍一款效率
破圈是B站头上的紧箍咒

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之每年的暑期档都少不了瞄准追剧女孩们的古偶剧集，2021年有优酷的《山河令》，2022年有爱奇艺的《苍兰诀》，今年却轮到小破站抓住了追
消费结构调整丨巨头低价博弈，拼多多还卷得动吗？

来源：征探财经作者：陈香羽随着流量红利的退潮，电商的存量博弈越来越明显。曾经主攻中高端与品质的淘宝天猫、京东重拾“低价”口号。而过去与他们错位竞争的拼多多，靠
信通院：小米、华为等11家应用商店基本完成APP签名及验签工作

中国信通院表示，目前，小米、华为、OPPO、vivo、360手机助手、百度手机助手、应用宝、豌豆荚和努比亚等9家应用商店，以及抖音和快手2家新型应用分发平
2299元起！iQOO Pad明晚首销：性能最强天玑平板

5月23日，iQOO如期举行了新品发布会，除了首发安卓最强旗舰处理器的iQOO Neo8系列新机外，还在发布会上推出了旗下首款平板电脑——iQOO Pad，其最大的卖点
2299元起！iQOO Pad开启预售：性能最强天玑平板

5月23日，iQOO如期举行了新品发布会，除了首发安卓最强旗舰处理器的iQOO Neo8系列新机外，还在发布会上推出了旗下首款平板电脑——iQOO Pad，其搭载了天玑
“买真退假” 这种“羊毛”不能薅

□ 法治日报记者王春　　□ 本报通讯员胡佳丽　　2020年初，还在上大学的小东加入了一个大学生兼职QQ群。群主“七王”在群里介绍一些刷单赚