2023年被认为是AI终真个元年，那么进入2024年，AI终端市场会迎来哪些发展机会，上游的芯片环节，AI芯片有哪些最新办理方案。
AI终端成为交互入口，首款AI PC个人智能体已经面世
为什么AI算力会转移到终端侧？IDC中国及环球副总裁王吉平提到了四大方面的缘故原由。
一是芯片厂商技能革命，未来是在稠浊算力的根本上，端侧算力未来会快速提升。二是模型正在不断演化，例如稠浊专家模型（MoE）正受到业内人士的关注。三是人们越来越关注安全性，端侧模型对付个人安全隐私，以及端之间互联互通的安全性有很好地保护。四是大模型开始垂直化整合，垂直领域端+小模型的需求也在提升，王吉平认为小模型和小终端之间也可以非常完美地匹配。
目前，在终端产品中，PC、智能家居、车载设备、智好手机、智好手表、耳机，乃至是AR/VR等设备都能得到AI技能的加持。
可以预测到，随着场景化发展，不同场景下的终端分工更加细致和专业，AI技能将加速终端未来十年新一轮的领悟。
目前，手机厂商已经打造了各自的AI大模型，将其赋能至智好手机中，例如华为小艺语音助手用到了盘古大模型，小米小爱同学用的是小米AI大模型MiLM-6B等等。
在AI PC方面，已经从普通的AI PC走向了AI PC智能体，例如遐想于4月18日发布的业内首款AI PC个人智能体——遐想小天，具备文生图的功能，还能实现图像演习和深度编辑。
图源：遐想
在AI机器人方面，传音旗下创新科技品牌TECNO在MWC24上，展示了公司首款AI增强型仿生四足机器人Dynamic 1，能够用于智能助手、教诲培训等场景。
AI终端在发展过程中，大模型（LLM）向智能体（Agent）转变，终极形成一个完全的闭环。那么，未来AI终端会朝着哪些方向发展呢？业内人士普遍认为，未来AI终端将成为个人AI助理，IDC认为将具备以下五大特色：
一是成为第一交互入口。此外，当海内的推理芯片搭载在各个终端后，会形成海内生态的智能体运用于各个行业中。二是终端将标配本地稠浊AI算力，例如CPU/NPU/GPU等；随之，形成个人终端和个人边缘协同打算构造。三是终端内嵌个人大模型，形成个性化本地知识库。四是必须会有个人数据和隐私安全保护。五是有一个连接开放的AI运用生态，同时它要开拓API接口。
AI芯片进入新的竞争阶段，英伟达、英特尔、高通占领推理性能
在技能底层，AI终真个发展离不开AI芯片。随着AI大模型在终端进行规模化扩展，支配端侧算力显得尤为主要。英特尔CEO帕特·基辛格曾表示在人工智能领域，推理技能变得越来越主要，乃至比演习还更加主要。
IDC中国及环球副总裁王吉平也预测了大措辞模型端侧芯片的发展趋势，他认为XPU模式会推动端侧模型推理能力明显提升。
图源：电子发热友网摄
目前，在AI芯片领域，英伟达、英特尔、AMD等是国际主流玩家。在近两年，海内的推理芯片厂商也逐渐进入业内视野中，例如阿里平头哥、寒武纪、燧原科技、云天励飞等，随着技能的迭代，上述国产芯片厂商的AI芯片性能也在不断提升。
AI芯片领域的竞争进入了新的阶段。目前，英特尔、英伟达、高通都推出了各自面向AI推理的芯片。
就在美国韶光4月9日，英特尔发布了新一代AI芯片Gaudi 3，可对标英伟达H100。Gaudi 3采取5nm工艺制造，具有64个第五代张量处理核心、8个矩阵打算引擎，24个200 Gbps以太网 RDMA NIC，以太网的通用标准能连接数万个加速器，最高 16 条 PCIe 5.0 总线。与Gaudi 2比较，Gaudi 3的FP8吞吐量达到1835 TFLOPS，BF16性能提升四倍，网络带宽提升两倍，内存带宽提升1.5倍。
英伟达H100芯片是在2023年发布的产品，采取4nm工艺，搭载了最新Hopper架构，集成Transformer引擎、第四代TensorCore、第四代张量内核等技能。支持PCle Gen5和利用HBM3，忆体频宽达到3TB/s，FP8 算力与A100比较提升了3倍，达4000TFLOPS。
在今年3月的英伟达GTC人工智能大会，英伟达还发布了Blackwell B200 GPU，有着2080亿个晶体管，H100的FP4性能为4 petaflops，而B200 能供应高达20 petaflops FP4的算力。两个B200与单个英伟达Grace CPU相连，打造出GB200 Grace Blackwell超级芯片。
在AI芯片新的竞争阶段，厂商都更加重视芯片的推理能力，从英特尔和英伟达的新品恰好解释了这一点。英特尔Gaudi系列面向AI运用处景，其推理能力也在不断提升，Gaudi 3的模型演习速率提升40%，推理速率则提升50%。
英伟达先容，H100采取了新的 Transformer Engine专门用于加速 Transformer 模型的演习和推理，在进行措辞模型的演习和推理时，演习速率 是A100的9倍，推理速率是 A100的30倍。Blackwell GPU更是能供应30倍的推理性能，AI演习和大模型实时推理的规模扩展到10万亿参数。
高通也在2023年10月发布骁龙 X Elite，这是一款面向 Windows 11 PC 的旗舰 PC 芯片，集成了Oryon CPU、Adreno GPU、Hexagon NPU，支持在端侧运行超过 130 亿参数的天生式 AI 模型。
在当时的发布会上，高通透露搭载骁龙 X Elite 芯片的条记本电脑在今年中期面世。近期已有显示，遐想 YOGA Slim 7 14 2024 骁龙版，以及一款命名为ThinkPad T14s Gen 6 骁龙版的条记本或将搭载高通骁龙X Elite 芯片。高通骁龙X Elite 芯片会给遐想AI PC带来哪些AI性能，值得期待。
而英伟达的H100已经运用在其超级打算机Eos中，统共搭载了4608个H100 GPU，还有1,152个英特尔至强Platinum 8480C处理器。Eos被认为是英伟达速率最快的人工智能超级打算机，可用于人工智能和高性能打算事情负载。
每一代AI芯片的推出，都有它各自的运用定位。从终端市场来看，AI技能已经从手机、PC渗透进更多终端产品，未来会走向高性能PC、事情站等，不管是面向TO C，还是TO B的行业场景（做事业、制造业等），所须要的算力将随着运用需求逐步提升，也会提高推理芯片的哀求。未来推理芯片在AI终端会迎来怎么样的发展，又会提升哪些运用体验，值得期待。
