最近，芯片界传奇人物、处理器设计大佬、Tenstorrent现任首席实行官吉姆·凯勒（Jim Keller）在接管采访时表示，英伟达没有很好地做事于很多市场，因此，Tenstorrent和其它新创AI处理器研发公司是有机会的。
Jim Keller曾任职于多家大牌企业，包括AMD，英特尔、苹果和特斯拉。1998~1999年，Jim Keller在AMD主导了支撑速龙系列处理器的K7/K8架构开拓事情，2008~2012年，在苹果牵头研发了A4、A5处理器，2012~2015年，在AMD主持K12 Arm项目和Zen架构项目，2016~2018年，在特斯拉研发FSD自动驾驶芯片，2018~2020年，在英特尔参与了神秘项目。
现在，Jim Keller在Tenstorrent领导AI处理器的开拓，可以为英伟达昂贵的GPU供应价格合理的替代品，英伟达的GPU每个售价20,000 ~ 30,000美元或更多，Tenstorrent 称，其Galaxy系统的效率是英伟达DGX的3倍，本钱低33%。做高性能AI运用场置器的产品替代是Tenstorrent事情的一部分，但不是全部，该公司的业务宗旨是做事英伟达未能办理的市场痛点，尤其是在边缘打算领域。
01边缘打算AI地位提升
随着海量数据持续增加，以及对打算和存储系统实时性和安全性哀求的提升，数据中央已经不能知足市场和客户的需求，市场哀求干系软硬件系统供应商找到更快捷的办法来做事客户，以提高运营效率并降落本钱。在边缘运行AI事情负载的边缘到云办理方案有助于知足这一需求，将算力放在靠近数据创建点的网络边缘，对付哀求近乎实时的运用至关主要，在本地设备上处理算法和数据等，而不是将这些事情负载传送到云或数据中央。
随着5G和物联网的发展，AI芯片在边缘运算领域的运用前景十分广阔，例如，自动驾驶汽车、聪慧城市等场景，都须要在终端装置上进行实时的AI推理。为此，多家厂商纷纭推出了专用于边缘推理的AI芯片。
在制造业，本地运行的AI模型可以快速相应来自传感器和摄像头的数据，以实行主要任务。例如，汽车制造商利用打算机视觉扫描装置线，以在车辆离开工厂之前识别车辆的潜在毛病。在这样的运用中，非常低的延迟和始终在线的哀求使得在全体网络中来回传送数据变得不切实际。纵然是少量的延迟也会影响产品质量。其余，低功耗设备无法处理大的AI事情负载，例如演习打算机视觉系统所依赖的模型。从边缘到云的整体办理方案结合了两端的上风，后端云为繁芜的AI事情负载供应可扩展性和处理能力，前端边缘设备将数据和剖析紧密地结合在一起，以最大限度地减少延迟。
以Arduino低功耗边缘设备为例，许多这类设备的本钱不到100美元，用户可以组合运行机器学习模型的几台或数千台设备。例如，一家农业企业利用Arduino办理方案来最大限度地提高作物产量，方案涉及传感器，这些传感器为边缘设备供应土壤湿度和风况等数据，以确定作物所需的水量。该技能可以帮助农人避免过度浇水，并降落电动水泵的运行本钱。
再例如，一家依赖精密车床的制造商将传感器与Arduino设备结合利用，以检测非常情形，如眇小的振动，这些振动预示着设备很可能涌现问题。对付企业来说，定期掩护比碰着导致生产停滞的意外故障更具本钱效益。
以上这些运用显示出边缘打算的代价和浸染，从目前的运用发展情形来看，这样的运用需求越来越多，对智能化掌握的需求也在增加，这便是边缘AI的代价所在。而像英伟达这样的企业，其GPU等高性能芯片紧张关注的是云打算和数据中央市场的AI做事器，对边缘AI市场很少关注。基于此，Tenstorrent等AI芯片公司就有机会了。
02更多AI芯片公司寻衅英伟达
随着各路玩家竞相投入，AI芯片市场呈现百家争鸣之势。据统计，2019年环球AI芯片新创公司数量就已经超过80家，总融资额超过35亿美元。研究机构预估，到2025年，ASIC将在AI芯片市场中霸占43%的比重，GPU占29%，FPGA占19%，CPU占9%。
一批AI芯片新创公司正在崛起，前文提到的Tenstorrent便是范例代表；Cerebras Systems则打造了有史以来最大的芯片WSE（Wafer Scale Engine），搭载了1.2兆个晶体管，让AI运算达到了前所未有的规模；明星公司Groq则由前Google工程师创立，专注于打造用于AI推理的低功耗处理器。
这里要先容一下Tenstorrent的技能和产品，它特殊看重低功耗，更适宜边缘AI运用。据日经新闻宣布，Tenstorrent有望在2024年底发布其第二代多用场AI处理器，但没有透露处理器的名称。根据该公司2023年秋日发布的路线图，打算发布其Black Hole独立AI处理器和Quasar低功耗、低本钱芯片。
早些年，但担当Tenstorrent公司CTO的时候，Jim Keller就很看好低功耗的RISC-V架构，其团队基于此自研了Ascalon CPU。据悉，该公司的新一代Black Hole AI芯片是基于SiFive的X280 RISC-V核设计开拓的。
Tenstorrent表示，即将推出的处理器之以是具有高效率和更低的本钱，很主要的一个缘故原由是避免利用高带宽内存（HBM），改用了GDDR6，这对付为AI推理设计的入门级AI处理器来说是很匹配的。也便是说，该公司的AI芯片架构对内存带宽的花费低于竞争对手，因此本钱较低。
虽然Tenstorrent尚未抢占AI处理器市场的主要份额，但该公司具有本钱效益且可扩展的AI办理方案，可以知足英伟达无法触及的多种运用需求。不止Tenstorrent，多家新创AI芯片公司也将在未来几个季度推出类似运用的·AI芯片产品。总之，不与英伟达正面竞争，越来越多的AI市场新进入者更看重那些没有被“绿色团队”霸占的市场。
AI芯片的创新一贯在进行着，除了算力的提升，AI芯片在架构、功耗、整合度等方面还有很大的优化空间。例如，通过前辈的封装技能，多个AI芯片可紧密整合，可大幅提升系统带宽和能效。AI专用的内存技能，如HBM、压缩内存等，也将得到更广泛的运用。
03寻衅英伟达生态系统
除了芯片技能创新，AI的生态系统培植也很主要。英伟达的CUDA平台经由多年景长，已经形成了弘大的开拓者社区和丰富的软件资源，这是其竞争力的主要担保。
其他厂商也纷纭跟进，环绕自己的AI芯片建构生态系统，争取开拓者的支持。Google推出了基于TPU的TensorFlow深度学习框架，并开源了干系代码；AMD收购了Xilinx；英特尔推出了OneAPI开拓工具套件，试图统一CPU、GPU和AI加速器的程序开拓接口。
Arm、英特尔、高通、三星等互助组建了统一加速基金会(UXL)，目标之一便是取代英伟达的方案。
在AI系统当中，芯片互联技能很关键，特殊是数据传输带宽，对系统性能的发挥起着重要浸染。英伟达在这方面一贯在培植自家生态，该公司最新的Blackwell GPU在多芯片互连、网络互连方面，将利用新推出的NVLink标准协议，在数据中央网络中，英伟达利用的是自家的InfiniBand总线。
对付英伟达这种封闭的生态系统，Jim Keller很看不惯，他是开放技能的虔诚拥趸，对付那些封闭技能切齿腐心。
Jim Keller提出，英伟达不应该利用私有的NVLink标准协议，该当换成开放的以太网标准，他还认为，在数据中央网络中，英伟达不该利用InfiniBand，也应换成以太网，由于Infiniband虽然具备低延迟、高带宽（最高可达200Gb/s）特性，但以太网能做到400Gb/s，乃至800Gb/s。
实际上，AMD、博通、英特尔、Meta、微软、甲骨文等巨子正在互助开拓下一代超高速以太网(Utlra Ethernet)，其吞吐量更高，更适宜AI、HPC运用。
那么，新的以太网技能能否发展起来，并反抗英伟达的互联技能呢？
2023年7月，多家行业巨子成立了超级以太网同盟（Ultra Accelerator Link，UALink），旨在与英伟达的InfiniBand反抗。
AMD正在为UALink努力贡献更广泛的Infinity Fabric共享内存协议和GPU专用xGMI，所有其他参与者都赞许利用Infinity Fabric作为加速器互连的标准协议。英特尔高等副总裁兼网络和边缘奇迹部总经理Sachin Katti表示，由AMD、Broadcom、Cisco Systems、Google、Hewlett Packard Enterprise、英特尔、Meta Platforms和Microsoft组成的Ultra Accelerator Link“推广小组”正在考虑利用以太网的第一层传输协议和Infinity Fabric作为将GPU内存链接到类似于CPU上的NUMA的巨大共享空间的一种办法。
UALink同盟成员相信，系统制造商将创建利用UALink的设备，并许可在客户构建他们的Pod时将来自许多参与者的加速器放入这些设备中。您可以有一个装有AMD GPU的pod，一个装有英特尔GPU的pod，另一个装有一些来自其他厂商的自定义加速器的pod。该设备可以实现做事器设计的通用性，就像Meta Platforms和Microsoft发布的开放加速器模块（OAM）规范一样，系统板上的加速器插槽具备通用性。
据IDC统计，在超大规模企业、云构建者、HPC中央和大型企业中，200Gb/s和400Gb/s网络的培植已经足够多，InfiniBand和以太网市场可以同时增长。
以太网无处不在——边缘侧和数据中央——这与 InfiniBand不同，后者专门用于数据中央。IDC表示，2023年第三季度，数据中央以太网交流机的发卖额同比增长了7.2%。
在2022年第三季度到2023年第三季度期间，数据中央以太网交流机的市场规模约为200亿美元，如果交流占InfiniBand收入的一半，那么数据中央以太网交流规模仍比InfiniBand交流大7倍旁边，并且，有越来越多的AI集群迁移到以太网，它们正在蚕食InfiniBand的市占率。
IDC表示，在以太网交流机市场的非数据中央部分，发卖额增长更快，2023年第三季度增长了22.2%，前三个季度统共增长了36.5%，由于很多公司升级了园区网络。
2023年第三季度，数据中央、园区和边缘侧的以太网交流机市场规模达到117亿美元，同比增长了15.8%。配套以太网路由器市场低落了9.4%，这并不奇怪，由于路由器越来越多地利用包括交流和路由功能的商用芯片构建。
在数据中央，200Gb/s和400Gb/s以太网交流机的发卖额同比增长了44%，端口出货量同比增长了63.9%。数据中央、边缘侧和园区的100Gb/s以太网交流机的发卖额增长了6%。
04结语
英伟达在云打算和数据中央AI系统方面的上风非常明显，无论是芯片行业巨子，还是新创公司，要想在这一赛道与英伟达PK，难度很大，特殊是新创公司，前些年以英伟达GPU为竞品，走同一赛道的几家小公司，日子过得都不太好，有的乃至在破产边缘。只有AMD、英特尔这样的大厂可以在同一赛道与英伟达玩一玩。
云打算和数据中央AI赛道不好追，那就主攻低功耗、低本钱的边缘侧运用市场，这也是一个很大的市场，且发展空间广阔，而目前市场上对口、适用的芯片又不多。在这种情形下，谁动手早，尽快拿出实用的产品，谁就能在未来竞争中占得先机。
除了AI芯片，互联技能和标准也是一个很有潜力的投资方向，而且在数据中央和边缘侧都有机会。英伟达的互联和总线技能不可能面面俱到，随着AI技能不断渗透到各行各业，以及各个性能、功耗和本钱运用层级，芯片和系统互联的发展空间会越来越大，大大小小的公司都在捋臂将拳。
