相信对付大众消费者来说，这里面很多观点和术语是比较陌生的，笔者根据自己搜集到的信息，结合高通的一些资料，大略说一说：高通是如何通过新技能来推动终端侧AI发展的？
在理解其意义之前，有必要搞明白以下几个疑问：
什么是NPU和异构打算？
为什么NPU和异构打算更适用于天生式AI？
高通终端侧AI的上风又是什么？
目前已经有了哪些行业用例？
首先来说一说NPU。NPU也叫神经网络处理器， 这是一种专门设计用于加速深度学习任务和机器学习算法的处理器。深度学习是AI的一个分支，在机器学习中霸占核心地位，它在处理图像识别、语音识别、自然措辞处理等神经网络模型场景时发挥着重要浸染，而NPU能够显著加速深度学习模型的推理和演习过程，其余NPU有更高的能效比，更适用于边缘打算设备和移动终端。
异构打算是指在一个打算系统中利用不同类型的处理器或者打算单元来协同完成打算任务的技能，这些单元包括CPU、GPU、以及如NPU这样的专用加速器。它的目的在于通过结合不同处理器的上风，来提高系统的整体性能、效率温柔应各种繁芜打算场景的能力，同时办理单一架构在功耗、散热等方面的局限性。
大略地说，便是通过异构打算将天生式AI任务中不同类型的打算任务分配给最适宜的打算单元。例如，面对丰富的天生式AI用例，CPU适用于须要低时延的运用处景，或者相对较小的传统模型，如卷积神经网络模型（CNN），以及一些特定的大措辞模型（LLM）；GPU善于面向高精度格式的并行处理，比如对画质哀求非常高的图像以及视频处理；在持续型用例中，须要以低功耗实现持续稳定的高峰值性能，NPU可以发挥其最大上风。
那么NPU和异构打算会更适用于天生式AI吗？
答案是肯定的。实际上，天生式AI涉及大量的数据处理和繁芜的打算任务，尤其是深度学习模型的演习和推理。
这些任务对打算资源的哀求极高，单独依赖传统的CPU或GPU可能无法知足性能哀求。NPU专为神经网络打算设计，能够仿照人类神经元和突触的事情办法，对AI打算涉及的大量神经网络模型进行分外优化，从而提高处理效率和降落能耗。
其次，异构打算的涌现进一步提升了天生式AI的打算能力。异构打算通过整合不同架构的打算单元（如CPU、GPU、NPU等），使它们能够并行事情，从而充分发挥各自的上风。
此外，随着天生式AI运用的不断扩展和繁芜化，对算力的需求也在持续增长。NPU和异构打算的结合能够更好地知足这种需求，以高通为例，CPU、GPU等打算单元每年都有迭代，并且每一次迭代都会带来巨大的性能升级，推动天生式AI技能的进一步发展和运用。
接下来我们再来聊一聊高通终端侧AI的上风在哪里？
首先，高通AI引擎一贯都是采取异构打算设计的，它包括了CPU、GPU、NPU（神经网络处理器）以及高通传感器中枢等处理器组件，因此在进行AI处理时，可以灵巧选择最佳处理器。此外，NPU作为一颗“AI专用”处理器，在CPU、GPU被占用过高时，依旧能够连续事情，保持AI体验的完全性和连续性。
与此同时，高通NPU具备业界领先的每瓦特性能，比如在Stable Diffusion或其他扩散模型中，高通NPU的每瓦特性能表现就很出色。高通AI引擎的其他关键核心，比如Adreno GPU，一样拥有业界领先的每瓦特性能。
而在性能方面，目前Hexagon NPU能够在终端侧运行高达100亿参数的模型，无论是首个token的天生速率还是每秒天生token的速率都处在业界领先水平。Hexagon NPU还引入了微切片推理技能，增加了能够支持所有引擎组件的大共享内存，以实现领先的LLM处理能力。
此外，高通传感器中枢能够以极低功耗运行始终开启的用例。通过将低功耗AI能力集成到芯电影系统中，芯片能够获取大量终端侧的情境信息，主打一个个性化AI体验，这也是终端侧AI的独特上风之一，并且个性化信息都将保留在终端上，云端无法获取。
内存方面，第三代骁龙8等高通产品已经支持业界最为领先的LPDDR5x内存，频率高达4.8GHz，能够支持以非常高速的芯片内存读取速率运行百川、Llama 2等大措辞模型，实现非常快的token天生速率。
接下来先容一个详细的用例。
首先是AI旅行助手，可以直接对模型提出方案旅游行程的需求。AI助手能够急速给到航班行程建议，并与用户进行语音对话调度行程，末了通过Skyscanner插件创建完全航班日程。
而在语音助手方面，基于天生式AI打造终端侧的虚拟化身AI助手，可以与用户实现语音互动和互换，它可以根据不同模型在语音和文本之间进行转换，终极输出语音，同时还通过领悟变形动画技能让语音与虚拟化身的嘴型匹配，实现音话同步。此后通过虚幻引擎MetaHuman进行虚拟化身渲染，这部分渲染事情在Adreno GPU上完成。
末了：
每次聊到高通在终端侧AI的发展，有一点不能忽略，那便是规模。在智好手机领域，高通SoC市场霸占率常年保持领先，这是众所周知的事实，而在其他诸如消费电子、工业物联网、云边打算等等多元化的场景，搭载骁龙芯片或者高通做事的终端设备同样数以“几十亿”计，这无疑为终端侧AI技能的广泛遍及和深入发展创造了弘大的生态系统。
与此同时，高通不仅致力于硬件层面的创新设计，更是在全栈式AI研究上持续发力，包括算法优化、软件开拓工具包（SDK）升级以及开拓者做事支持等方面，确保其AI办理方案能够在各种终端上实现高效运行，并不断推动AI模型在端侧的小型化、快速相应及低功耗实行能力的进步。通过这种软硬件一体化的策略，高通成功地促进了终端侧AI技能的商业化落地和规模化扩展，推动全体行业的进步和发展。
(8601967)
