首页 » 互联网 » 英伟达比例高达40%!AI芯片“推理”大年夜战打响_英伟_芯片

英伟达比例高达40%!AI芯片“推理”大年夜战打响_英伟_芯片

神尊大人 2025-01-10 06:07:00 0

扫一扫用手机浏览

文章目录 [+]

英伟达首席财务官Colette Kress在上周表示,英伟达最大的营收来源数据中央部门中,去年有超过40%的业务是有关支配AI模型,而非演习——这一比例是AI芯片市场开始转向的主要迹象。

演习AI模型的芯片需求一举推升英伟达成为“芯片新王”,随着该行业的迅速发展,下一个市场焦点将是实际运行时用于推理的芯片。

英伟达比例高达40%!AI芯片“推理”大年夜战打响_英伟_芯片 互联网

相较于演习芯片而言,推理芯片对功耗和本钱的哀求没那么高,这同时也意味着竞争市场会变得更为激烈,英伟达的“新王”地位还能否延续?

从GPU到LPU

在演习阶段,公司每每会给模型“喂”海量数据进行大规模神经网络的演习。
由于高打算密度、低能耗、内存带宽大等哀求,目前大多数AI模型的演习均依赖于英伟达的GPU。

在推理阶段,AI模型在演习的根本上,利用神经网络模型进行推理预测,从而响运用户指令。
这类芯片(LPU)对整体性能的哀求没有GPU那么高,但推理引擎性能更强。

对付AI芯片制造商们来说,推理芯片正在变得越来越主要,并在市场中霸占越来越多的机遇。

据宣布,Melius Research的剖析师Ben Reitzes在给客户的一份解释中表示:

“故意见认为,英伟达未来在推理领域的市场份额将低于演习领域。

“这意味着即将到来的‘推理爆炸’可能会带来一波收益。

美银剖析师Vivek Arya同样认为,伴随AI模型演习投资激增,重点将转向从AI模型中创收,推理领域相较于英伟达主导的演习领域更具竞争力。

从英伟达给出的“40%”比例来看,现在推理技能的发展速率可能要比此前预期的快得多。
今年年初,瑞银剖析师曾估量,到明年,有90%的芯片需求将源于演习,推理芯片仅占到市场的20%。

英伟达的竞争对手们正在蠢蠢欲动。

有不雅观点认为,随着客户越来越讲求降落AI模型的运营本钱,英特尔的芯片将越来越具吸引力。
有称,英特尔善于制造的芯片类型已经广泛用于推理领域,和英伟达更尖端、更昂贵的H100在实际推理运用中差别不大。

英特尔的CEO Pat Gelsinger在去年年底的一次采访中曾提到:

“从经济学的角度看推理运用的话,我不会打造一个须要花费4万美元的全是H100的后台环境,由于它耗电太多,并且须要构建新的管理和安全模型,以及新的IT根本举动步伐。

“如果我能在标准版的英特尔芯片上运行这些模型,就不会涌现这些问题。

除了英特尔和AMD等老牌芯片巨子,一些初创公司也可能“乘风而起”。

谷歌古人工智能芯片工程师Jonathan Ross创立的公司Groq是寻衅者之一,该公司开拓的LPU流传宣传是“史上最快大模型”,以每秒500个token,彻底颠覆了GPT-4的40 tok/s的速率记录。

黄仁勋:推理业务占40%,AI已成功

本钱仍旧是一道坎。
包括亚马逊、谷歌、微软在内的巨子们一贯致力于内部开拓推理芯片,希望缩减运营本钱。

Ross指出:

“对付推理领域,你能支配多少取决于本钱。

“在谷歌,有很多模型都能演习成功,但个中的80%都没能支配,由于投产的本钱太高了。

芯片软件初创公司SambaNova的CEO Rodrigo Liang表示:

“我们看到我们的推理运用案例正在迅速增长。

“人们开始意识到,80%以上的本钱将用于推理,我须要探求替代办理方案。

目前看来,英伟达仍在这次转向中处于领先地位。

据悉,英伟达一款即将推出的芯片在去年一项关键的人工智能推理基准测试中取得了行业领先的结果,延续了该公司多年来在竞争中的主导地位。

并且,英伟达最新的财报显示,该公司在AI芯片领域仍霸占80%以上的市场份额。
这意味着,在可预见的未来,英伟达的演习芯片估量仍将保持较高需求。

美东韶光2月23日,英伟达CEO黄仁勋在接管《连线(Wired)》采访时表示,英伟达目前业务中推理占到40%,这意味着AI模型将会很快落地。
他表示:

“我们热爱推理。
让我估算的话,我认为英伟达本日的业务构成可能是40%的推理和60%的演习。
为什么这是一件好事呢?由于这意味着人工智能终于取得了成功(AI is finally making it)。

“本日,每当你在云中输入一个提示,它会天生一些东西——可能是视频,可能是图像,可能是2D,可能是3D,可能是文本,可能是图表——这背后很可能就有一块英伟达GPU。

本文来自华尔街见闻,欢迎下载APP查看更多

标签:

相关文章

收藏!AM的三种调制电路_调幅_集电极

AM调幅旗子暗记的产生,关键是利用非线性器件,如二极管、三极管等非线性器件的非线性特性实现调幅的。比如:二极管和三极管幅度调制电路...

互联网 2025-01-11 阅读0 评论0