北京2017年12月18日电 /美通社/ -- 2017年11月在对未来科学的探索中,面对“天眼”探空、神舟飞天、墨子“传信”等众多原创基础科学对整个产业带来的巨大影响,科学界面提出了中国科学的未来是星辰大海的观点。同样是基础技术创新,在存储领域,面对数据的“星辰大海”,浪潮智能存储的InRAID技术实现化繁为简的数据管理策略:以“2+1”的硬盘虚拟化三板斧,实现了存储的逻辑化,一举管理数以浩如烟海的亿级KB级逻辑块。
RAID,企业级存储的基本功
“天眼”探空、神舟飞天、墨子“传信”、高铁奔驰、北斗组网、超算“发威”、大飞机首飞……中国科学创新迎来前所未有的黄金时期。正如2017年11月未来科学大奖颁奖典礼上,科学界人士所表示的:中国科学的征途是“星辰大海”,在基础科学研究领域有大量创新等待被探索。事实上,基础科学做创新,在各个领域几乎都是难题;但一旦做出创新了,就会带动业界技术进步。比如基因工程、量子计算、脑科学研究等等基础科学,已然成为科学界的“星辰大海”,这些基础科学的每一个成就对推动科学技术进步产生了巨大影响。
这一情况在存储领域同样得到了验证,RAID功能作为基础的存储介质虚拟化技术,关系着企业级存储的性能、可靠性和灵活性,一直是考验业界存储厂商技术实力的关键。浪潮智能存储G2平台如何通过InRAID技术创新,获得比传统RAID较高10倍的性能、重构效率和容量扩展提升呢?这得从RAID的演进说起。
RAID演进
RAID技术在存储领域可以说是毋庸置疑的基础技术,很多IT从业者就是从RAID技术开始了解企业级存储的。RAID是什么呢?根据全球网络存储工业协会SNIA(the Storage Networking Industry Association)对RAID的定义,RAID是英文Redundant Array of Independent Disks的缩写,中文意思是独立磁盘冗余阵列。
这里有个小插曲,RAID一词较早出现在1987年加利福尼亚大学伯克利分校David Patterson等人的论文中,是指“廉价磁盘冗余阵列(A Case for Redundant Arrays of Inexpensive Disks)”,研究的初衷是平衡当时CPU快速的性能,当时CPU效能每年大约增长30-50%,而硬磁机只能增长约7%。研究小组希望能找出一种新的技术,于是RAID早期被用来整合大量廉价的硬盘,在短期内,立即提升效能来平衡计算机的运算能力。但后来发现,大量便宜磁盘组合并不能适用于现实的生产环境,后来Inexpensive被改为independent,RAID的定义变为包含许多独立的磁盘组的冗余阵列,也就是我们如今看到的样子。
RAID技术有什么好处呢?虽然RAID包含多块硬盘,但是在操作系统下将其视为“一个”超级大盘。不难看出,RAID的本质就是N个硬盘的虚拟化,对下层硬盘进行扇区管理,对上层业务提供IO透明服务。
此时,传统RAID技术包含RAID0~RAID60等十多个规范,在实际应用中使用较多的是RAID0、1、5、6、10、50、60等等。
传统RAID诞生之初,曾给企业级存储带来巨大利好,体现在提高传输效率和容错能力两个方面。在提高传输速率方面,传统RAID技术通过在多个硬盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。在RAID中,可以让很多硬盘同时传输数据,所以使用RAID能达到单个硬盘几倍、几十倍的速率。在数据容错方面,由于硬盘本身无法提供容错,RAID容错是可提供较为完备的相互校验/恢复/镜像等措施,提高了容错度和冗余性。
传统RAID并不完美
传统RAID技术重构时间长,重构期间数据可靠性保障差。在存储系统正常运行时,传统RAID技术的BUG并不明显,但一旦遇到硬盘故障,需要数据重构时却存在较大的数据丢失风险。传统RAID是以物理硬盘为单元,RAID重构过程中数据没有可靠性保障。这就是说,如果在传统RAID重构完成前出现坏盘就将造成数据丢失,不可恢复。令这一缺陷雪上加霜的是,传统硬盘重构的时间窗口比较大,进一步加大了数据丢失的风险。以一块2TB 7.2K rpm盘为例,重构时平均写入速度为30M/s左右,完成重构时间长达18个小时。
另外,传统RAID一旦配置完成,组内硬盘会锁死,扩容可能停机且较大扩容盘数受限。在做存储系统规划时,要求管理员准确的计算出当前每个单元业务的容量、IO需求,并评估每个单元业务未来发展的容量、性能要求;否则要么设计不足,存储不能完全满足业务需求,要么过度设计导致资源浪费。配置完成后,RAID组内硬盘锁死。如果因为各种未预测到的变化需要调整原分配,那么只能通过手动配置删除和重新分配,以及复杂的数据迁入迁出来实现。值得一提的是,这一手动调整RAID的过程,很多时候需要中断业务。
浪潮InRAID:2+1数据虚拟化管理
浪潮智能存储G2平台基于InRAID技术变传统RAID的固定管理模式为2+1数据虚拟化管理模式:1是指同一类型的硬进行1次RAID分组;2是指硬盘的两层虚拟化,第一层是硬盘切分为KB级逻辑块,第二层是不同类型硬盘的多个逻辑块构成一个LUN。通过“2+1”数据虚拟化管理(2次硬盘逻辑化+1次用户态虚拟化),实现硬盘资源池化。
首先,2是指完成两次硬盘的逻辑化和虚拟化。
第一次:硬盘RD化
1) 对于系统内部物理硬盘,按介质的性能不同分配不同的Disk&LUN,包括SAS SSD、RI SSD(读取密集型SSD)、SAS HDD、SAS NearLine HDD(SAS协议的近线磁盘)四类存储存储介质。
2) 将系统内部每种不同类型的存储介质按一定数量划分为逻辑上的RD(RAID)。
第二次:KB级逻辑块
3) 将不同硬盘上按RAID组成Mdisk。
4) 将Mdisk切分成16MB-8GB,默认1GB(大小可配置)的更细粒度逻辑块(Extent)。
其次,1是指完成一次面向用户态的共享卷构建。
5) 按需将1-N个更细粒度逻辑块(Extent)组成卷(Volume)/文件(File)。
这里打个形象的比方,上述过程可以用包饺子做个简单生动的解释。1-4步骤是剁馅儿,包括一系列备料、切、剁等流程,提供对硬盘的逻辑化和虚拟化;步骤5是拌馅儿,提供面向用户态的数据服务。
InRAID的价值:重构快10X、扩容增5X、闪存优化快40%
相比传统RAID,浪潮InRAID技术带来的好处显而易见。
首先,重构效率提升10X。
当一个逻辑块故障时,重构的仅是一个逻辑块大小的数据,1-3秒即可完成重构。
当一个物理硬盘故障时,RAID组内所有硬盘参加重构。还以上边的2TB 7.2K rpm盘重构为例,用浪潮InRAID重构,每TB重构小于30分钟完成(传统RAID下每TB重构需要9小时),2TB重构时间缩短至1小时内,重构效率比传统RAID提升10倍以上,大大降低重构期间的硬盘失效概率。
其次,扩容能力提升5X+。
InRAID和传统RAID相比,承载主机IO的硬盘数量发生了变化,最多可承载128块硬盘,比传统RAID容量提升5倍以上。
此外InRAID不再配置闲置的热备盘,所有盘都在处理IO,减少闲置热备浪费。
最后,基于InRAID的多线程,可提升闪存介质性能。
浪潮G2 InRAID技术有多个线程处理IO,具备混合工作负载处理能力,可针对不同IO大小进行并行处理,尤其对SSD的处理有很大的性能提升。写IOPS性能可提升40%。
加载InRAID,助力浪潮智能存储G2卖出2亿+
自2017年2月发布后,仅半年多时间,浪潮智能存储G2上市半年销售额近2亿,还获得了两个单项目千万元级的大单,浪潮在企业级SAN存储方面可以说遇到了过去几年中发展较好的阶段。能够取得这一突破,一部分原因要归因于浪潮在InRAID等一系列存储技术上的创新。
“InRAID稳定性已经历市场充分验证,是G2产品默认RAID配置。”浪潮资深产品经理翟爽表示,“目前浪潮在统一存储,以及全固态存储市场中是很有竞争优势的。我们拥有IT领域唯一设在企业的国家重点实验室 -- 浪潮高效能服务器和存储技术国家重点实验室,并拥有上百项存储技术自主知识产权,可根据用户业务场景和需求进行开发设计,增加产品和应用之间的结合度,这意味着我们的产品灵活性更高,更符合应用实际需求,为用户业务保驾护航。”