正在阅读:金融业落地端到端NVMe,华为OceanStor存储给出答案金融业落地端到端NVMe,华为OceanStor存储给出答案

2021-01-18 14:31 出处:其他 作者:轻聊 责任编辑:wangshen

我们都见过手扶拖拉机。作为一种简易农用机械和运输工具,他的用途相当广泛。不过,作为一种泛用型机械,手扶拖拉机的优缺点都相当明显。一方面,他结构简单,价格低廉,改装能力强,马力大;另一方面,他也有着速度慢、振动大、噪音大、污染大等一系列缺点。

如何改进这些缺点呢?村里的很多技术能手八仙过海各显神通,给手扶拖拉机装上了涡轮增压、消音排气管、真皮座椅、氙气大灯、豪华驾驶室和真皮座椅。于是,我们便获得了一台顶配版的,手扶拖拉机……

上面一段纯属戏言,所有人都能看这套逻辑中的问题所在。但现实吊诡的地方就在于,很多领域中,我们就是这么干的。而这些领域便包括存储。

这么干的原因也很简单,过去我们没有更高级的平台可选,只能在旧有平台上修修补补。

但只需稍微关注存储技术发展我们便不难发现,介质变革所带来的IO提升和NVMe协议所带来的延迟降低已经在近几年让整个存储领域发生了翻天覆地的变化。不过,在绝大多数场合中,这种变化还只能局限在节点内部。而要让整个系统都能获得这种跨越式提升,核心仍在协议端。

换句话说,对于大规模IT基础架构,介质升级让我们看到了未来的曙光,而NVMe协议的跨节点端到端普及才是迈向未来所要推开的门扉。介质如同身体,协议才是灵魂。要让存储网络获得“灵魂的升华”,并非易事。

NVMe的跨节点之路

作为全新一代存储协议,从上图我们可以看出,相对于传统的SCSI/SAS协议,NVMe简化了数据在操作系统堆栈中的传输路径,进而实现了更高的传输效率、更低的处理器时钟周期占用和更低的延迟。

数字时代,企业能力进化的核心方向便是“数字化转型”,而提升数据传输的实时性便是这种转型成功的基础条件之一。显然,NVMe自带的低延迟、低CPU时钟周期占用等特性对提升数据传输实时性而言,效果立竿见影。

那么,如何让这一效果从节点内部扩展至整个存储网络呢?这正是NVMe-oF(NVMe over Fabric)要做的事情。

从名称来看,NVMe-oF的目的很简单——用光网来承载NVMe协议。相对于铜缆的数据承载能力、电力和信号损耗等弊端,光纤的优势相当明显。目前,NVMe-oF主要有四种实现途径:FC、InfiniBand、RoCE、iWARP。而其中最受企业用户欢迎的则是RoCE。

个中原因其实也很简单:FC发展较慢且市场垄断、InfiniBand传输距离较短且不可组网、iWARP性能相对较弱。

从RoCE——RDMA over Converged Ethernet这一名称来看,显然,RDMA才是这套架构的核心。而对于整个NVMe-oF来说,RDMA技术同样是实现NVMe协议的跨节点、低占用、低延迟的关键。

那么,我们有必要先从RDMA技术开始聊起。

RDMA,计算机当中的“无为而治”

在计算机技术当中,“管”是理所当然的,但所有“管理”都要占用带宽、浪费资源;因此,“不管”才是高科技。

计算机架构内部,内存是整个系统得以运转的关键。作为一个缓存池,硬盘、显卡、网卡以及所有周边设备产生和需求的数据都要从在这个缓存池中存取。而在传统计算机架构中,只有CPU才有这个缓存池的唯一控制权。

换句话说,当我们拷贝大文件时、当我们使用网络密集传输数据时、当我们用声卡或显卡进行内容创作时,CPU都在高负荷的工作,即便这些工作可能并不需要CPU参与多少运算。

高性能的CPU有着很快的运算速度,但如果所有子系统的数据存取都需要经过CPU进行“一一审批”,那么延迟的产生也就属于必然。更何况,在CPU负载本身较高的情况下,数据存取的延迟也就必然增加。

以上是发生在计算机内部的情况。而如果我们将视角放大至多个计算和存储节点,情况虽然会更加复杂,但类似的延迟增加和计算资源浪费也同样会发生。更何况,任何微小的浪费如果放大成百上千倍,其损失都会变得无法承受。

为了让CPU“放手”,RDMA技术诞生了。

RDMA(Remote Direct Memory Access),远程直接数据存取。顾名思义,这是一种跨节点的内存读写技术;而其最大的特点便是在无需消耗对方节点CPU处理能力的前提下完成对远程节点的内存读写,由此,海量数据传输的延迟也会更低。RDMA最初诞生于HPC领域,其研发初衷便是降低大规模网络数据传输所产生的延迟及对应的CPU负载,并以此来提高大规模集群的总体计算效能。

伴随闪存及NVMe协议革命的到来,存储所产生的海量数据流终于也给系统带来了足够的压力,因此,RDMA也便成为了存储网络升级的首选。而RoCE正是将RDMA扩展至以太网的核心技术。

NVMe-oF的华为实践

了解了NVMe的优势以及NVMe-oF的RoCE实现之后,我们有必要以实际的产品来举例说明。

作为RoCE路线的坚定支持者,华为不仅推出了支持RoCE的全套交换机系列产品,更有着以OceanStor Dorado系列为代表的全闪存储系列。而支持NVMe-oF则正是OceanStor Dorado系列的核心优势之一;在一系列升级之后,华为称其为NOF+。

众所周知,数据中心网络通常包含5种协议——FC/IP/InfiniBand/PCI-E/SAS。而除开HPC和AI等少数几种应用场景,5协议中除IP协议之外的其余四种大多都只为存储设备而存在。而对于支持RoCE的OceanStor Dorado系列来说,用户终于可以用一张IP网络满足计算与存储两种典型应用,进而避免了复杂的网络协议及规划,降低了网络的部署、管理和运维难度以及相关成本。

另一方面,由于免去了NVMe全闪存储在传统网络协议下必不可少的协议转换过程,运行在RoCE网络中的OceanStor Dorado系列也能够提供更高的数据传输效率和更低的传输延迟。同时,因为能够提供存储、网络等全套设备,华为也更容易实现数据中心网络和存储应用的端到端调优。实际测试中,在8k数据块、100%全随机、7:3读写的情况下,华为OceanStor Dorado系列NOF+联合方案能够实现75-80微秒的端到端延迟,相对于其他设备在相同条件下的100+微秒,提升达30%。

更加重要的是,华为NOF+具备智能无损功能。所谓智能无损便是OceanStor Dorado系列NOF+联合方案所具备的故障自动巡检和主动修复功能。通过该功能,系统对IP网络中的链路故障感知时间能够从目前行业平均的15-30秒缩短到1秒以内,并通过智能链路选择绕开故障,实现业务的高可靠。

同时,通过专为OceanStor Dorado系列开发的一系列自动化部署工具,运维的工作量和复杂性也将大幅降低。另外,华为还完善了设备内部的PCI-E控制机制,使得PCI-E总线硬盘的热插拔不会影响到总线下的其他设备;而一个链路或端口的一场也不会使其他端口IO受到影响。

作为业内首批支持NVMe-oF技术的全闪存储,华为OceanStor Dorado系列不仅做到了产品技术层面的完整可用,更在运维、管理、高可靠等多个方面提供一系列实用工具和技术设计,为NVMe-oF的普及贡献了自己的一份力量。

金融行业选择华为NOF+方案,原因不只是快

正如前文所述,NVMe-oF的核心目的便是将NVMe从计算机内部的存储协议扩展为能够跨节点传输数据的存储网络协议,由此,存储网络和存储设备内部的协议标准便获得了统一。而在RDMA技术的加持下,数据流量高峰时,计算节点也能以更低的延迟、更小的系统性能开销获得网络IO性能的大幅提升。而华为OceanStor Dorado系列NOF+联合方案则凭借更完整的功能整合、调优及工具开发,实现了NVMe-oF在性能、管理以及运维的全新平衡。

从这样的特性出发,凡是体量庞大,对核心存储性能有着强依赖的业务模式均能从华为NOF+方案中获益。显然,金融行业的众多业务场景便符合这一模式。

无论是证券、保险还是银行,高性能的核心数据库都是业务正常开展的前提;同时,作为面向大范围公众提供服务的机构,这类用户的交易量也非常可观。另一方面,作为经济发展和民生保障的重要支持力量,大多数金融业务也都需要在后台完成合规、风控、行情分析等众多业务流程,而这也进一步加大了对存储网络吞吐量和响应速度的要求。

综上,华为OceanStor Dorado系列NOF+联合方案为存储网络所带来的高性能、低延迟、高可靠特性可以说是大型金融类企业提升业务体验、拥抱互联网转型的绝佳帮手。

中国银行的高效存储之路

产品技术层面的跨越式提升已经让华为OceanStor Dorado系列NOF+联合方案引起了大量用户的关注,而中国银行便是其一。目前中国银行已经完成了华为RoCE网络方案的先行部署,并成功的完成了华为OceanStor Dorado系列全闪存在NoF环境下的技术测试,并成功商用。

洞未来之悉,领应用之先

NoF和SSD代表了存储的未来,而RDMA和RoCE则是高效网络发展的主流方向。通过将两种先进技术结合在一起,华为不仅发现了IT架构进化的可行路径,更将技术进步所产生的业务价值带给了行业和用户。

与此同时,在“懂行”战略的引领下,华为也在与更多生态伙伴一起深挖技术与业务场景的融合方式,让企业用户能够更快更稳更好的完成立足于业务的数字化转型,实现管理能力与业务能力的双升级。

产品技术是华为持续发展的基石,而通过生态为产业赋能则是华为的动力之源。NoF和存储的故事还远未完结,千行百业存储系统升级也才刚刚开始。而在这一切的起点望向未来,前路值得我们每一个人期待。

 
为啥你的宽带网速,永远没有运营商说的那么快?
知道这几点 可以让投影更“长寿”!进来看看 Wi-Fi 4/5/6/7都代表什么?一文读懂Wi-Fi进化史 说好能打200页,为什么打了几张照片就没墨了? 年轻人的第一台投影怎么选?进来告诉你

为您推荐

加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多

网络设备论坛帖子排行

最高点击 最高回复 最新
最新资讯离线随时看 聊天吐槽赢奖品