首页 » 互联网 » 64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度

64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度

雨夜梧桐 2024-12-11 20:03:59 0

扫一扫用手机浏览

文章目录 [+]

昨天看到华云数据收购Maxta的新闻,不过我还是想写点详细技能干系的东西。

也是这两天把稳到64GFC和第七代光纤通道的,仔细一看原来是去年底发布的,为什么没啥关注度呢?

64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度 64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度 互联网

想想现在主流数据中央网络接入层的速率,以太网还在从10Gb/s向25Gb/s过渡中,FC多是16Gb和32Gb,InfiniBand则以56Gb(FDR)和100Gb(EDR)为主。
须要把稳的是,56Gb和100Gb IB都是4个lane(4对旗子暗记线),40Gb和100Gb以太网(多用于汇聚/核心层)也是如此。

64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度 64GFC HBA已准备好交换机和PCIe 4.0为啥不着急?_端口_速度 互联网
(图片来自网络侵删)

那么对付单个lane 25Gb的以太网和32Gb的FC来说,速率翻倍也算是个寻衅了。

请把稳位于上方那条折线是Quad Lane(4信道)in QSFP,也就相称与4个单lane聚合。

上图引用自FCIA最新的Roadmap,按道理到2019年Serial Lane in SFP达到64G的光纤通道产品该当涌现了。
不过现实每每没有操持乐不雅观,我们也大略看看问题出在哪里。

这便是被Broadcom收购的Emulex,最新一代的Gen 7 Fibre Channel HBA LPe35000系列中的4端口32Gb卡,同一代自然也供应单/双端口的型号。
不丢脸出这LPe35004卡的金手指是PCIe x16,而单/双端口则是PCIe x8,它们利用的掌握芯片该当都是同一颗XE601。

这个是Broadcom(Emulex)XE-601的架构图,该芯片主机界面可支持PCIe 4.0 x8或者PCIe 3.0 x16。
我们知道目前除了Power9之外,Intel和AMD的x86平台还不支持PCIe 4.0,以是绝大多数人该当是这样打算带宽的:

4个32GFC口总带宽3200x4=12800MB/s(双向还可以x2),单个lane靠近1GB/s的PCIe 3.0只有x16才能发挥到线速。

要说64GFC有点不敷的话,那便是不再支持自适应到8G链路速率了(向前兼容2代)

目前Emulex发布的Gen 7 FC HBA还不支持64G,但芯片有这个潜在能力,最多4个端口能一起跑到64G,这种配置下无论PCIe 3.0 x16还是PCIe 4.0 x8都显不敷了(还会有Gen 8 FC嘛)。
好在做事器真个主流需求是双端口为主,将来64G 的LPe35002跑在PCIe 4.0 x8的主板上比较得当。
当然,对PCIe Gen4最急迫的该当还是200Gb/s IB和OPA。

同时我们不能忽略光模块,还有交流机。
我在《PowerEdgeMX网络篇:从100GbE到32Gb FC的2种姿势》中说过32GFC的物理层速率是28Gbps(64b/66b编码,准确点说28.05 Gb/s),那么在一对差分旗子暗记上实现64GFC也须要与之对应物理层收发器——Broadcom资料里写的是57.8 Gb/s。
恰好前几天我还转载了一篇《数据网络,“凭什么”可以达到56 Gbps?》,可供大家理解这一领域的进展。

旁引个资料:Mellanox还是早了一步,在200G HDR InfiniBand上用到了50Gb/s per lane。
虽然这家公司身陷收购传闻,但我不得不佩服他们的技能空想与实践,Mellanox是网络领域一个独特的存在:)

上图引用自《Fibre Channel Trunking -Emulex® Gen 7 HBAs and Brocade® Gen 6 Switches》,如今博科也同在Broadcom屋檐下,但7代的HBA暂时还只能配6代交流机用,以是纵然HBA卡支持64G也只能跑32G。
看来全体生态系统不是太焦急,为什么呢?

我们再从去年底FCIA的新闻稿中看看,还有哪些要点:

- 为全闪存和端到端NVMe数据中央而构建,供应10µs以内的来回延时,大于500万IOPS。

- Gen 7 Fibre Channel将受益于成熟的第二代T11 FC-NVMe标准,带来增强的“Sequence-Level”缺点规复。
关于NVMe over Fibre Channel(NVMe/FC)协议的支持,我在《端到端NVMe阵列:想说爱你却没那么快?》大略谈论过一点,记得交流机部分曾有写错之处,感谢朋友的纠正。

- 性能升级只须要大略热插拔64GFC光套件(紧张是光模块)

当时的新闻里还提到Dell EMC是交付Gen7 FC的首家做事器厂商,也便是PowerEdge系列,当然目前暂时还是跑32G。

谈论Emulex之余,我总是会一同看看QLogic。
刚被Cavium收购不久,又加入了Marvell,估计整合要折腾一阵吧。
按以往的履历,等将来64GFC真正上线运用的时候,我倒是不太担心两家的产品都能准备好。

小结

其实在当前32G FC很少有不足用的情形,作为存储网络,光纤通道基本上只卖力南北向、做事器到存储阵列之间的I/O。
那些Scale-out架构的SAN存储,比较高真个在掌握器间用IB或者PCIe互连(如EMC VMAX/PowerMAX),其余一些用以太网;像IBM SVC/V7000那样将FC作为掌握器间通信的毕竟属于另类。

在这种专注的用场下,不须要RDMA,而光纤通道也支持NVMe over Fabric了。
比较之下,IB用于打算-存储节点间互连紧张运用在HPC领域(扩展阅读:《HPC存储IO500测试剖析:这结果合理吗?》)。
Server SAN的前后端(或称内外部)网络常日都因此太网,25Gb/40Gb真正不足用的时候又有多少呢?别忘了还有端口聚合/多路径。

就像一位专家朋友所说:“全天下的transaction(交易数)增加了多少?” SAN也好,Server SAN也罢,承载的紧张还是传统构造化数据,还有虚拟机等。
有几个人真正须要在单块I/O卡上跑500万IOPS?这大概便是64GFC目前的孤独吧:)

参考内容

https://fibrechannel.org/industrys-fastest-storage-networking-speed-announced-by-fibre-channel-industry-association-%E2%94%80-64gfc-and-gen-7-fibre-channel/

https://fibrechannel.org/broadcom-first-to-ship-7th-generation-fibre-channel/

注:本文只代表作者个人不雅观点,与任何组织机构无关,如有缺点和不敷之处欢迎在留言中批评示正。
进一步互换技能,可以加我的QQ/微信:490834312。
如果您想在这个公众年夜众号上分享自己的技能干货,也欢迎联系我:)

尊重知识,转载时请保留全文。
感谢您的阅读和支持!

标签:

相关文章

陶氏IT面试全攻略,如何脱颖而出

随着科技的发展,IT行业成为了热门行业之一。许多企业纷纷开设IT部门,招聘优秀的IT人才。陶氏化学作为全球领先的化学品制造商,也对...

互联网 2024-12-26 阅读0 评论0