编辑/ 钱立富 孙妍
当地韶光8月8日,在美国洛杉矶举行的打算机图形学专业会议SIGGRAPH 2023上,身着经典皮衣的英伟达CEO黄仁勋宣告推出新一代AI超级芯片DGX GH200 Grace Hopper。

据理解,GH200采取了英伟达的Hopper GPU架构,并与ARM的Grace CPU架构结合起来,比H100数据中央系统容纳更多内存和更大带宽,即141GB的HBM3e内存,以及每秒5TB的带宽。

大模型热潮持续,英伟达再度迭代AI芯片产品,不断强化自己在行业内的“统治力”。而在海内AI芯片市场,受地缘政治等影响,AI芯片一片难求,在倒爷“满天飞”、卖家乱报价的环境下,海内大模型厂商急需国产方案来替代。
倒爷“满天飞”
A800单卡售价12万元
“A800有货,想要的直接点击购买”“A800现货,支持验货”……海内掀起大模型浪潮后,英伟达A800成为脱销货。用于售卖闲置物品的闲鱼,如今已经化身A800芯片二手市场。留言区还有人指路,抖音上某账号有货,100块。
面对《IT时报》的询价,卖家们显得尤为积极,在沟通过的4、5位卖家中,每位都表示手头有全新现货,但库存不多,仅有30、40片旁边。这些卖家的报价普遍在11万元以上,低至11.15万元,高至11.5万元。比较于今年4月份的价格,A800单片价格上涨了1万元旁边。
“你最好本日就订,来日诰日说不定就没货了。”一位卖家在电话里敦促《IT时报》交定金。
“本日已经有7、8个人来问过了。”看有些犹豫,另一位卖家说道。为了让相信他手头确实是现货,卖家特意拍了包装好的视频,表示拍下就发货,“本日拍,来日诰日就可运到”。
“只有做事器厂家才有卡,其他只是二道贩子,纯挚吆喝而已。”一位芯片渠道商这样形容海内A800芯片市场的现状。
另一位卖家也见告,最近英伟达的A100、A800十分紧俏,来询价的人特殊多,但真正下单的少,大多是炒货的。他表示:“如果须要找货,须要谈价钱,再签条约交定金。”根据货量多少,定金从30%到50%不等,货量越大,定金越高。“之前我们就碰着过,有人订了货后又不要了,我们怎么办?为了规避风险。”终极,这位卖家报价A800单片10.7万元,但到货须要等2个月。
比较水涨船高的A800单片行情,A100做事器整机的价格浮动并不大。在该卖家的朋友圈看到,2周前,安装有8块A100芯片的做事器,售价在每台140万——145万元之间。但做事器的货源依旧紧缺,卖家见告:“前几天到货10台做事器,一个星期之内就被上海买家订完了”。
2天后,该卖家又联系,称A100芯片有货,而且打折发卖,只需5万元一块,由于是二手的,保质期还有1年半。他还表示,全新的A800芯片也有,但比较两天前,价格上涨了1万多元,12万元一块,“价格上涨是由于要的人多,但货很少”。
实际上,在这一轮大模型热潮中,即便是做事器厂商,也面临着“地主家没有余粮”的尴尬局势。讯问多家云做事厂商,个中两家规模较大的云厂商表示,暂时没有存货。另一位做事器经销商则表示,8月腾讯云将上架部分A800的卡,可以提前预定,但数量和价格都未曾透露。
早在今年4月举行的古迹电话会议上,台积电方面表示,AI干系需求“爆单”,要到2024年底才能完备办理AI芯片的供应短缺问题。根据中国台湾地区媒体《电子时报》的宣布,由于台积电前辈封装产能不敷,英伟达正在考虑将部分GPU中利用的2.5D封装交给其他供应商。
台积电日前宣告,方案斥资近900亿元新台币在中国台湾地区竹科铜锣科学园区设前辈封装晶圆厂,新工厂估量2026年底建成,2027年第三季度开始量产。但远水解不了近渴,在芯动力科技有限公司干系卖力人看来,考虑到地缘政治形势短期内很难改变,自主可控成为新一代芯片的哀求,海内演习芯片短缺的情形可能会持续2至3年。
生态、性能有差距
国产芯片替代本钱或更高
英伟达芯片全线缺货,用国产芯片来替代是更好的方案吗?
“国产芯片更贵。”对付这个问题,一位芯片渠道商回答道。
只管在价格方面,国产GPU芯片有一定的上风,但英伟达在打算方面建立的完善生态,让大多数厂家对英伟达的芯片如蚁附膻,而对调换国产芯片犹豫不前。
在今年的天下人工智能大会上,一家国产GPU厂商发卖职员就透露,目前海内第一批大模型厂商利用的基本都是英伟达A100、A800的芯片,由于英伟达构建了完善的CUDA生态。“如果你用惯了这个生态,”该发卖职员说,“贸然换一个生态,意味着你的学习本钱、试错本钱、调试本钱都会增加,自然没人会想要换了”。
纵不雅观海内AI芯片第一梯队的海光、华为和寒武纪等厂商,除了海光的DCU产品深算系列采取了兼容通用的“类CUDA”环境,华为的昇腾系列采取了自研的达芬奇架构,大模型厂商在利用干系芯片时,须要提前针对软硬件进行调配和优化。寒武纪的产品虽然包含了云端和边端芯片,但由于其ASIC的芯片架构,在利用时也须要提提高行调试,对通用性打算而言,ASIC芯片的本钱上风并不明显。而对付第二梯队的燧原、昆仑芯、天数等公司来说,生态培植更是不得不面对的难题。
生态和易用性已经将一部分小型大模型厂商拒之门外,性能更是许多厂商犹豫未定的缘故原由所在。无论走通用GPU路线,还是走ASIC芯片路线,海内芯片厂商在性能上都对标英伟达芯片。但是,单片性能靠近是否意味着整体打算性能达到英伟达算力水平?
和过去PC时期不同,大模型演习须要巨大的算力,并非一两颗芯片所能支撑。在当下的大模型浪潮中,芯片集群成了行业办理算力问题的一大方向。
“芯片集群并不是纯挚做加法,1+1不一定即是2。”中国信通院华东分院人工智能与大数据奇迹部副主任常永波说,“在芯片行业,1+1每每小于2。”由于在打算过程中,数据须要在芯片之间互通,这就哀求芯片之间保持高带宽,以减少算力的损耗。而且,如何在打算过程中提高芯片的算效,也是各大芯片厂商面临的难点之一。凡此各类,都意味着单颗芯片的纸面算力和实际算力之间存在差距。
目前,国产芯片在算力上和英伟达的AI芯片仍旧存在差距,这意味着,想要达到同样的算力,须要企业购置更多的芯片。对企业而言,就意味着更多的本钱支出。“打个不恰当的比方,就彷佛你原来用iPhone,溘然换成了一台国产手机。”一位芯片卖家阐明说,“为了达到同样的性能,你得买好几台国产手机,本钱自然就上去了。”
国产化方案箭在弦上
AI算力需求构造将改变
只管在目前的AI算力芯片市场上,英伟达仍是很多大模型厂家的第一选择,但这样的局势或将改变。
“今年,一些公共做事平台,尤其是涉及到政府机构、学校、中小企业的这种公共做事平台,已经开始利用国产AI芯片。”常永波见告,海内已经开始构建AI芯片国产化生态。
今年3月,《科技部办公厅关于开展国家新一代人工智能公共算力开放创新平台报告事情的关照》明确表示,公共算力平台应利用自主研发的人工智能打算芯片,并优先采取自主研发的系统软件。对付稠浊支配的公共算力平台,基于自主研发芯片的算力标称值占全部系统算力标称值的比值应不低于 60%。公共算力平台应优先利用国产开拓框架,利用率应不低于60%。
今年6月2日,《临港新片区加快构建算力家当生态行动方案》发布,个中提出:到2025年,临港新片区将形成以智算算力为主、根本算力和超算算力协同的多元算力供给体系,算力家当总体规模打破100亿元。
同一天,中国电信临港公共智算做事平台暨国产GPU联合创新基地启动。首批国产GPU厂商华为、燧原、天数、寒武纪、沐曦等宣告入驻。在今年的天下人工智能大会上,中国电信干系卖力人表示,国产GPU联合创新基地将面向开拓者或开拓企业在模型算法算力的需求,搭建异构国产算力开拓环境。同时,基地还将与国产GPU厂家一起提升国产GPU芯片的性能和兼容性。未来,基地也会拿出机架,免费供应给国产GPU厂商利用,进行专业的测评做事,推动国产GPU的商业化和家当化。
在常永波看来,这一轮AI芯片的短缺,紧张还是由于短韶光内大模型的集体爆发。由于大部分厂商的大模型都处在前期演习阶段,对演习算力的需求非常大,加之AI算力产能不敷,终极导致AI芯片的供需失落衡。但随着大模型发展进入运用推理阶段,大模型演习带来的弘大算力需求未必能够一贯持续。
“从目前来看,如果说大模型公司的需求70%是演习算力,那么30%是推理算力,”常永波说,“3、5年之后,大模型演习需求就会退潮,变成30%的演习算力加70%的推理算力。”到那时,AI芯片的算力需求构造将显著改变。
在目前“缺芯”状态下,常永波认为,海内大模型厂商可以在不是特殊商业化的场景多给国产芯片机会,支持国产芯片厂商技能迭代,共同营造生态,共同发展。
排版/ 季嘉颖
图片/ 英伟达 闲鱼 东方IC
来源/《IT时报》公众年夜众号vittimes
E N D
请加「星标」不错过我们








