钛媒体App获悉，北京韶光11月13日晚上，美国芯片巨子英伟达（NVIDIA）发布天下上最强大的 AI 芯片——NVIDIA H200 Tensor Core GPU（图形处理器）。
新的英伟达 H200 是当前 H100 的升级产品，基于 NVIDIA Hopper 超级芯片架构，具有最高的性能和前辈内存技能功能，针对付超大规模的大模型演习和推理，可增强天生式 AI 和高性能打算 (HPC) 事情负载。
H200 是首款供应每秒 4.8 TB速率、141GB HBM3e内存的 GPU 产品。与 H100 比较，H200 容量险些翻倍、带宽增加 2.4 倍。在用于 Llama2、GPT-3等大模型推理或天生问题答案时，H200 性能较 H100 提高 60% 至90%（1.6-1.9倍）。因此，H200可支配在本地、云、稠浊云和边缘侧等各种类型的数据中央内部。
同时，与CPU（中心处理器）比较，H200在HPC下得到的结果速率达到一个“胆怯”的数据：提高110倍。
对付中国市场，11月14日上午，英伟达公司在邮件中向钛媒体App确认：如果没有得到出口容许证，H200将无法在中国市场发卖。
据理解，英伟达NVIDIA H200将于2024年第二季度开始向环球客户和云做事厂商供货，估量将与AMD的MI300X AI芯片展开竞争。
英伟达NVIDIA HGX H200处理器（来源：英伟达官网）
详细来看，由于NVIDIA Hopper架构、TensorRT-LLM专用软件等软硬件技能加持，新的H200在超大模型演习和推理性能表现精良。与H100比较，H200在Llama 2（700亿参数）开源大模型的推理速率险些翻倍，而未来的软件更新估量会带来H200的额外性能领先上风和改进。
据英伟达数据，在TF32 Tensor Core（张量核心）中，H200可达到989万亿次浮点运算；INT8张量核心下供应3,958 TFLOPS（每秒3958万亿次的浮点运算）。
不仅如此，基于H200芯片构建的HGX H200加速做事器平台，拥有 NVLink 和 NVSwitch 的高速互连支持。8个HGX H200则供应超过32 petaflops（每秒1000万亿次的浮点运算）的FP8深度学习打算和 1.1TB 聚合高带宽内存，从而为科学研究和 AI 等运用的事情负载供应更高的性能支持，包括超1750亿参数的大模型演习和推理。
英伟达H200、H100和A100的性能规格比拟（来源：anandtech）
据Anandtech剖析，根据目前规格来看，H200的加速打算性能可以理解为半年前发布GH200 Hopper超级芯片的一半，而差异在于HBM3 更换为HBM3e、内存带宽从80GB提升至141GB、速率提升到4.8TB/秒，这使得英伟达能够提高内容的处理速率和带宽容量。而根据总带宽和内存总线宽度推算，与H100比较，H200的内存频率增加大约25%。
钛媒体App从英伟达处确认，如果没有出口容许，新的H200将不会销往中国，缘故原由是H200参数高于美国商务部10月17日公布的性能红线：多个数字处理单元的集成电路（用于数据中央）总处理性能为2400-4800，“性能密度”大于1.6且小于5.92。
11月初，英伟达已向经销商公布“中国特供版”HGX H20、L20 PCle、L2 PCle产品信息，分别针对的是演习、推理和边缘场景，最快将于11月16日公布，量产韶光为2023年12月至2024年1月。个中，HGX H20在带宽、打算速率等方面均有所限定，理论综合算力要比英伟达H100降80%旁边，当然也会比H200更为“缩水”。
值得一提的是，除了H200之外，基于英伟达现在发售的基于Grace、Hopper以及Grace Hopper架构的 AI 芯片，该公司本日推出一种搭载4个Grace Hopper GH200 AI 芯片的新平台，称为NVIDIA Quad GH200。
Quad GH200供应288个ArmCPU内核和总计2.3TB的高速内存，将四个GH200叠加，以8 chips、4路NVLink拓扑相互连接，形成CPU+GPU共同加持的强大算力平台，从而安装在根本举动步伐系统中，供应更易用、性能更强的算力支持。
据美国金融机构Raymond James透露，H100芯片本钱仅3320美元，但英伟达对其客户的批量价格仍旧高达2.5万至4万美元。这导致H100利润率或高达1000%，成为了有史以来最赢利的一种芯片。
英伟达官网显示，NVIDIA H200将为40多台AI超级打算机供应支持。包括CoreWeave、亚马逊AWS、谷歌云、微软Azure、甲骨文云等公司将成为首批支配基于H200实例的云做事商。同时，华硕、戴尔科技、惠普、遐想、Supermicro、纬创资通等系统集成商也会利用H200更新其现有系统。
同时，英伟达还宣告与Jupiter公司互助，将供应基于2.4万（23762）个GH200的新型超级打算机，功耗低到18.2兆瓦，将安装在德国于利希研究中央举动步伐中，用于材料科学、药物创造、工业工程和量子打算领域的根本研究。该超算系统将于明年交付安装。
此外，英伟达还在官网暗示，明年公布的英伟达 B100 AI 芯片将有更大的性能升级。“NVIDIA Hopper 架构比之前实现了前所未有的性能飞跃。”
（本文首发钛媒体App，作者｜林志佳）
