omniture

如何内外兼修,打造一款极致性能的全闪存储

2020-12-08 09:54 5950
浪潮全闪存储是一款内外兼修,软硬皆强的产品。正是浪潮存储部门孜孜不倦的努力,不断在全球存储性能委员会SPC-1这个平台上创造了一个又一个的佳绩:浪潮存储先后刷新了16控、8控、单位成本性能三项世界记录。

北京2020年12月8日 /美通社/ -- 随着科技洪流的推动,闪存存储时代已经全面开启,闪存阵列的大规模普及已经势不可挡。人工智能、大数据、云计算、5G、物联网等落地推进,随之带来了海量数据的爆发和对极致性能前所未有的需求。

闪存时代,全面开启

在新技术、新应用驱动下,面对企业关键业务数据存储需求,全闪阵列在主存储市场呈现出一种稳步增长的态势,预计到2024年国内全闪存储市场将达到约56亿的规模。

过去全闪存储应用场景主要集中在对于响应延迟要求低、IOPS要求高的核心交易系统,如传统行业金融系统中的联机交易、网银、ODS,以及运营商的Billing系统和CRM系统,这些核心系统通常要求存储系统的性能高达8000 IOPS/TB,传统存储如果仅通过机械硬盘难以支撑。而现在随着支撑的业务规模增加,或者因为需要敏捷响应市场需求导致的业务种类也在迅速增加,使得各个行业除了核心交易系统之外,一些非核心但IOPS要求高、响应延时低的业务也逐渐开始需要使用全闪阵列了。

随着全闪存储的需求量逐渐增加,如何将存储软件栈与闪存盘完美融合发挥出最大效能,成为各大存储厂商需要面对的巨大挑战。

浪潮发力全闪:外功扎实、内功深厚

那浪潮在全闪存储上做得怎么样呢?可以用一句话来形容,外功扎实、内功深厚。

首先在外功方面,浪潮存储通过引入傲腾SSD作为内存级存储、NVMe高速通路端到端打通等硬件层面的创新,使得产品竞争力达到了业界领先水平。

在端到端NVMe方面,浪潮全闪存储G5系列支持端到端NVMe,带来性能快速提升。NVMe协议相较传统SATA/SAS相比,重大的变化还在于由原来的单队列机制转变为多队列机制,队列深度增至64K;写请求数据间通信次数相比SAS从4次减少到2次;NVMe SSD经过PCIe Switch之后直接到CPU,减少了多个中间层,降低了传输损耗。另外,G5可基于一套架构实现NVMe和SAS都支持,采用超高速PCIE 3.0互联架构,最大可扩展48个控制器,可实现6个9的可靠性。

在SCM级别介质方面,浪潮存储引入傲腾SSD作为SCM内存存储。SCM位于DRAM和NAND之间,能够填补DRAM和NAND之间的性能和时延的鸿沟。由于SCM具备持久化和快速字节级访问的特点,同时具备Persistent Memory介质和NVM(Non-VolatileMemory)介质特性,更重要的是SCM没有NAND Flash顺序写入和写前擦除的约束,操作过程更简单,在寿命和数据保持能力方面的表现也远超NAND Flash。基于这些特点,业界普遍认为SCM会成为颠覆存储系统设计的新一代介质,并优先应用于性能和可靠性要求较高的场景。

Intel Optane(傲腾)系列硬盘通过实践证明NVMe和SCM(Storage Class Memory)配对时才会显现更大的存储优势,那时数据存储将会迎来重大飞跃,NVMe的未来属于SCM。


浪潮存储全面支持SCM级介质,可在内存和NAND之间增加新的性能层,具有高性价比;或整机框满配Optane SSD,提供超高性能,业界少有。


说完外功,我们再来看看内功,也就是软件方面,浪潮存储通过全用户态软件栈、智能资源调度技术、智能硬压缩技术、垃圾回收技术、满条带写、元数据优化等技术创新,实现了全闪存储的性能调优。

其一全用户态的软件栈。浪潮存储软件部分和硬件驱动都在操作系统的用户态实现,这种实现方案有如下优势:可以减少CPU中断次数,消除内核态到用户态的内存拷贝,提升性能;便于升级和维护,升级固件无需重启操作系统,直接升级替换软件部分就可以。

这种方案也是当前DPDK等高性能IO框架所采用的实现方式。

其二智能资源调度技术。浪潮存储软件栈不完全依赖于操作系统的任务调度机制,而是采取如下的手段提高CPU利用率:比如使用进程绑定技术,将所有的任务绑定在不同的CPU核上,任务执行时不跨越CPU核,不存在需要进行冲突保护数据,也就无需用锁来保护冲突,可以避免加锁引起的CPU上下文切换,提高CPU利用率。又如,使用数据绑定技术,将元数据进行切片,绑定在不同的CPU核上,避免多核并发访问同一元数据,降低CPU竞争引起的等待,提高CPU利用率。


其三智能硬件压缩技术。定长输出压缩模式是一种前压缩方式,数据会先经过缓存压缩(专用缓存和压缩芯片),最终落盘的是压缩后的数据;且算法依据非定长输入会生成定长输出,更容易满条带刷写,提高性能同时提高磁盘空间利用率。浪潮存储基于时序的优化策略可以识别随机热点数据,依赖局部性原理进行数据存储,进一步提高随机场景的压缩性能。浪潮存储采用专用的硬件压缩引擎极大释放了CPU计算资源,最终带来系统整体性能的提升。


其四垃圾回收优化技术。由于SSD固态盘介质特点,在长时间随机读写后,再将数据写入非空块时,需要将块中的其他数据读入缓存、擦除整个块、写入数据,这种“写放大”导致性能急剧下降,且影响SSD盘寿命。浪潮全闪存储设备利用全局垃圾回收优化,针对SSD盘,在恰当时机,标识不再使用的数据块,让设备从内部自动清除这些数据。从而提升I/O性能。

其五满条带写技术。满条带写即将随机小IO转为满分条的顺序大IO后写入,随之带来的好处是: SSD盘在做GC回收空间时就无需再搬迁数据,从而减少SSD内的写放大,延长SSD盘的寿命。浪潮存储通过满条带写技术消除了Raid校验数据的反复更新,减少写盘数据,减少写放大。


其六元数据优化技术。浪潮全闪存储通过基于全闪卷分配连续的地址,将多个元数据合并为大块IO, 然后一起下盘,节省CPU资源。通过冷热数据分流技术,浪潮存储能够将元数据和用户数据存放在不同的分区中,从而增加分区中数据同时无效的概率,达到减少垃圾回收过程中搬移有效数据的数据量,提升SSD的性能及可靠性。


其七数据零检测技术。浪潮存储优先进行数据全零检测。在开启重删与压缩模式下,将优先进行数据块指纹值与全零指纹值的比较。若指纹值相同,则逐字确认数据是否全零。如确认是全零数据,则仅仅标记元数据,不进行数据的落盘。从而节省SSD存储空间,缩短I/O路径,提高系统性能。

打造内外兼修、软硬皆强的全闪存储  

总结下来,全闪存储不但需要在硬件层面采用闪存盘乃至SCM级介质,还需要通过软件栈的全面优化去发挥出高速介质的强大性能,浪潮全闪存储正是这样一款内外兼修,软硬皆强的产品。正是浪潮存储部门孜孜不倦的努力,不断在全球存储性能委员会SPC-1这个平台上创造了一个又一个的佳绩:浪潮存储先后刷新了16控、8控、单位成本性能三项世界记录。

消息来源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公众号“全球TMT”发布全球互联网、科技、媒体、通讯企业的经营动态、财报信息、企业并购消息。扫描二维码,立即订阅!
collection