险些可以肯定的是，这三款AI芯片均是H100的“阉割版”或“缩水版”。
理论上H100比H20的速率快了6.68倍。据剖析师Dylan Petal最新发布的一篇博文，纵然H20的实际利用率能达到90%，其在实际多卡互联环境中的性能仍只能靠近H100的50%。
也有媒体称，H20的综合算力仅相称于H100的20%，且由于增加了HBM显存和NVLink互联模块，算力本钱显著提高。
不过，H20 的优点也很明显，在大措辞模型（LLM）推理方面比H100快了20%以上。情由是H20在某些方面与明年要发布的下一代超级AI芯片H200相似。
英伟达已经做出这三款芯片的样品，H20 和 L20估量将于今年 12 月推出，而 L2将于明年 1 月推出。产品采样将于发布前一个月开始。
H20 Vs. H100
先来看H100，拥有80GB HBM3内存，内存带宽为3.4Tb/s，理论性能为1979 TFLOP，性能密度（TFLOPs/Die size ）高达19.4，是英伟达当前产品线中最强大的GPU。
H20，拥有96GB HBM3内存，内存带宽高达4.0 Tb/s，均高于H100，但打算能力仅为296 TFLOP，性能密度为2.9，远不如H100。
理论上H100 比较H20 的速率快了6.68倍。但值得把稳的是，这个比较是基于FP16 Tensor Core的浮点打算能力(FP16 Tensor Core FLOPs)，且启用了稀疏打算（大大减少运算量，因此速率会有显著提升），因此并不能全面反响其所有的打算能力。
其余，该GPU的热设计功耗为400W，低于H100的700W，并且在HGX办理方案(英伟达的GPU做事器方案)中可以进行8路GPU的配置，它还保留了900 GB/s的NVLink高速互联功能，同时还供应了7路MIG(Multi-Instance GPU，多实例GPU)的功能。
H100 SXM TF16（Sparsity）FLOPS = 1979H20 SXM TF16（Sparsity）FLOPS = 296
根据Peta的LLM性能比拟模型表明，H20在moderate batch size下峰值token/秒，比H100赶过20%，在low batch size下的token to token延迟比H100还要低25%。这是由于将推理所需的芯片数量从2个减少到1个，如果再利用8位量化，LLAMA 70B模型可以在单个H20上有效运行，而不是须要2个H100。
值得一提的是，H20的打算能力虽然只有296个TFLOP，远不及H100的1979个，但如果H20的实际利用率MFU（目前H100的MFU仅为38.1%），这意味着H20实际能跑出270 TFLOPS，那么H20在实际多卡互联环境中的性能靠近H100的50%。
从传统打算的角度来看，H20比较H100有所降级，但在LLM推理这一方面，H20实际上会比H100快了20%以上，情由是H20在某些方面与明年要发布的H200相似。把稳，H200是H100的后继产品，繁芜AI和HPC事情负载的超级芯片。
L20和L2配置更加精简
与此同时，L20配备48 GB 内存和打算性能为239个TFLOP，而 L2 配置为 24 GB 内存和打算性能193个TFLOP。
L20基于L40，L2基于L4，但这两款芯片在LLM推理和演习中并不常用。
L20和L2均采取 PCIe 形状规格，采取了适宜事情站和做事器的PCIe规格，比较Hopper H800和A800这些规格更高的型号，配置也更加精简。
但是英伟达用于AI和高性能打算的软件堆栈对某些客户来说非常有代价，以至于他们不愿放弃Hopper架构，纵然规格降级也在所不惜。
L40 TF16 (Sparsity) FLOPs = 362
L20 TF16 (Sparsity) FLOPs = 239
L4 TF16 (Sparsity) FLOPs = 242
L2 TF16 (Sparsity) FLOPs = 193
本文来自华尔街见闻，欢迎下载APP查看更多
