NVLink，从片外互联走向片内互联
或许在多数人眼中，GH200不过是新一代Grace CPU和Hopper GPU结合的又一新产品，但这一定不是英伟达追求的“1+1=2”效果。事实上，GH200是象征着英伟达在芯片互联技能前辈设计水平的集大成者。
在英伟达的第四代NVLink技能和第三代NVSwitch技能下，创造一个256个GH200连接在一起的系统也不在话下。但这样的片外互联技能并不算罕见，市情上也有不少初创公司的AI芯片可以做到类似或者更夸年夜的扩展性。
然而在片内芯片互联上，NVLink-C2C这一互联技能确实达到了新的高度。NVLink-C2C是英伟达专为其superchip系列打造的内存同等、高带宽、低延迟互联技能。也是实在现高达900GB/s总带宽的关键所在。900GB/s的带宽是什么观点呢？与当代AI/HPC加速器常用的16路的PCIe 5.0比较，还要快上6倍。
NVLink-C2C的上风
NVLink-C2C的第一大上风便是其内存同等性，这不仅提高了开拓者的效率、芯片性能，还提高了GPU可以访问的内存量。在这一互联技能的支持下，如今CPU、GPU线程都可以并行访问CPU和GPU各自的内存，无需页迁移，以是开拓者可以专心于优化算法本身，而不是内存管理。
其次便是900GB/s的带宽了，有了NVLink-C2C，运用程序可以直接用满GPU的内存，再以超高的带宽直接调用Grace CPU的内存。毕竟即便是最新的HBM3e版GH200，也只有144GB的内存，而Grace CPU可以支持到最高480GB的LPDDR5X内存。乃至在NVSwitch的支持下，可以高速访问全体系统中最高达144TB的内存。
如此一来在GPT这样的LLM模型中，可用的内存也就变多了。这对付batch size增加后，推理所需内存数增加的天生式AI来说至关主要。比较过去x86 CPU+PCIe 5.0 H100的搭配组合，GH200在更大的batch size下推理速率有着数倍的提升。
英伟达也对高带宽在HPC加速上的上风进行理解读，以ABINIT的标准实行韶光为例，ABINIT是一个用于打算材料光学、机器、振动等特性的仿照软件。以只用x86 CPU的实行韶光作为标准，在x86 CPU与Hopper GPU的结合下，超高性能的Hopper GPU极大地缩短了实行韶光。
然而在CPU与GPU之间的传输开销下，这一组合终极只能做到快上1.16倍的上风。而如果是利用Grace Hopper方案的话，在NVLink-C2C的超大带宽下，CPU与GPU之间的传输开销迅速缩减，终极实现了缩短4.25倍的实行韶光。
写在末了
英伟达会走上自研CPU和Superchip的路线实在并不令人意外，为CPU与GPU之间打通一个更快的接口一贯是英伟达的努力方向之一。此前由于x86的CPU设计紧张还是有英特尔和AMD两家厂商完成，而Grace这样的自研Arm芯片则没了设计限定，可以掺入英伟达的各种定制化开拓。
NVLink-C2C也为市情上其他的AI芯片带来了更大的寻衅，毕竟英伟达在性能、软件生态上已经处于领先地位，又有着如此高效的互联技能。可以预见未来其他厂商也会在芯片互联、高速接口等领域发力，否则很难与英伟达同台竞争。
