近日，高通特殊发布了《通过NPU和异构打算开启终端侧天生式AI》白皮书，对付终端侧天生式AI的发展趋势，以及高通骁龙处理器的多模块异构打算引擎，尤其是NPU的设计及上风，都进行了详细解读。
天生式AI虽然这两年才火热起来，但是AI的发展历史悠久，高通也早在2007年就打造了Hexagon DSP，其掌握和标量架构正是后续NPU的根本。
2015年发布的骁龙820处理器集成了首个高通AI引擎，支持成像、音频和传感器运算。
之后，2018年的骁龙855又增加了Hexagon张量加速器。
2020年骁龙888里的全新架构Hexagon NPU堪称里程碑迁移转变，并在之后的三代骁龙8中持续迭代演进，AI性能、效能和范围不断拓展。
比如第三代骁龙8的张量运算核心的峰值性能就大幅提升了98％，同时依然保持高超的能效。
高通在AI方面采取的是异构打算引擎思路，由Kryo CPU、Adreno GPU、Hexagon NPU、传感器中枢四大核心模块共同组成，彼此协作。
根据终端类型、终端层级、关键性能指标、时延等成分的不同，这种架构可以利用不同的组件进行AI处理，以达到最佳效率。
比如说，CPU打算量一样平常，但善于顺序掌握和即时性，非常合对延迟哀求非常高的场景，比如时序敏感性小模型，比如卷积神经网络模型(CNN)或者特定大措辞模型(LLM)。
GPU善于高精度格式的并行处理，比如对画质哀求非常高的图像、视频处理，同时算力非常强，可运行大规模的模型。
NPU善于标量、向量和张量数学运算，而且能效非常高，能够以极低功耗实现持续稳定的高峰值性能，在基于LLM和LVM(大视觉模型)的不同用例中，比如说Stable Diffusion或其他扩散模型，每瓦特性能十分出色。
高通传感器中枢则能以极低功耗运行始终开启的用例，可获取大量端侧情境信息，让天生式AI体验更加个性化，这也是终端侧AI的独特上风之一，并且信息保留在终端上，不会联网上传到云端，隐私更安全。
如此设计的异构打算，能够实现最佳的运用性能、能效和电池续航，以最大化提升天生式AI终真个用户体验。
这里重点说说NPU。
NPU全程为神经网络处理器，是专为低功耗加速AI推理而打造的硬件模块，架构上随着新AI算法、模型和用例的发展而不断演进。
Al事情负载紧张包括由标量、向量和张量数学组成的神经网络层打算以及非线性激活函数。
精良的NPU设计，能精确选择如何处理AI事情负载，同时与CPU、GPU等其他模块协同实行，并与AI行业发展方向保持高度同等。
高通Hexagon NPU便是为了以低功耗实现持续稳定的高性能AI推理而设计，其差异化上风在于系统级办理方案、定制设计和快速创新。
通过定制设计NPU并掌握指令集架构(ISA)，高通可以让NPU快速演进和扩展，以办理碰着的任何瓶颈问题，并优化性能。
高通透露，最初开始研究NPU的时候，关注的是一些大略用例，比如用于音频和语音处理的卷积神经网络模型(CNN)和是非期影象网络模型(LSTM)，2015年第一代高通AI引擎的Hexagon NPU就集成了标量和向量运算扩展。
2016-2022年间，高通将研究方向拓展至AI影像和视频处理，比如暗光拍照、降噪、多帧处理等，同时引入了Transforme层处理，因此增加了张量运算核心(Tensor Core)。
2023年，Hexagon NPU开始支持LLM和LVM，并支持Transformer，可以更好地处理基于Transformer的模型。
如今第三代骁龙8集成的Hexagon NPU已经能够在终端侧运行高达100亿参数的模型，无论是首个token的天生速率，还是每秒天生token的速率，都处在业界领先水平。
值得一提的是，Hexagon NPU还引入了用于图像处理的微切片推理技能，增加了能够支持所有引擎组件的大共享内存，最高支持到4.8GHz频率的LPDDR5X，LLM处理能力更上一层楼，可快速处理百川、Llama2等等。
说了半天事理，看看实际性能表现，首先是第三代骁龙8和三款安卓、iOS平台竞品的比拟。
鲁大师AIMark V4.3测试中，第三代骁龙8的总分达到了竞品B的5.7倍、竞品C的7.9倍。
安兔兔测试中，第三代骁龙8的总分是竞品B的6.3倍。
MLCommon MLPerf推理的不同子项中，比如图像分类、措辞理解、超级分辨率等，第三代骁龙8也都保持领先。
PC端比拟骁龙X Elite和其他x86架构竞品。
Windows系统下的UL Procyon AI推理测试中，骁龙X Elite在ResNet-50、DeeplabV3等测试项目中都大幅领先，总分是竞品A的3.4倍、竞品B的8.6倍。
近日在巴塞罗那举办的MWC 2024大会上，高通还展示了在终端上运行的多模态天生式AI模型。
在第三代骁龙8上运行的首个大措辞和视觉助理大模型(LLaVA)，能基于图像输入，回答用户提出的问题。
比如为视障人士在城市内进行导航，就可以将图像信息转换针言音，帮助他们理解周围的事物。
顺带一提，高通还展示了基于骁龙X Elite条记本，首个在终端侧运行的超过70亿参数的大型多模态措辞模型(LMM)，可接管文本和音频输入(如音乐、交通环境音频等)，再天生多轮对话。
硬件AI能力之上，高通还打造了AI软件栈(AI Stack)。
它可以支持目前所有的主流AI框架，包括TensorFlow、PyTorch、ONNX、Keras；支持所有主流的AI运行时，包括DirectML、TFLite、ONNX Runtime、ExecuTorch；还支持不同的编译器、数学库等AI工具。
此外，高通还有AI Studio，可为开拓者供应开拓过程中须要用到的各种干系工具，包括支持模型量化和压缩的高通AI模型增效工具包(AIMET)，能够大幅提高模型运行的效率。
高通认为，AI终端市场的发展还在初期阶段，但已经为高通的不同产品和解决方案带来了显著的改进，对消费者的主要性也在不断增加，无论教诲、医学还是养老等各个领域，AI的浸染将愈发凸显。
互联网涌现的时候，只有少数人能够利用PC上网，而智好手机的涌现让数十亿人都能够连接网络。
相信终端侧天生式AI的发展也是如此，它将让所有人都能充分利用天生式AI，改变事情、娱乐和生活中的切身体验，变革各行各业。
