从手机到电脑，从本地到云端，无处不在的算力时候在为我们供应做事，本日的生活能如此便捷，离不开这一颗颗小小的算力芯片。就此话题，我们就来深入地盘一盘当下主流的AI算力芯片，在打算特点和功能上有何不同？
纵不雅观人类历史，从结绳计数、木制计数到巴比伦的粘土板上的刻痕，再到中国古代的算盘，社会生产力的提高与当时所采取的打算工具密切干系。打算工具能力越强，就能大幅缩短人类办理繁芜问题的韶光，社会生产力水平自然就会越高。
回顾人类工业进程，每一次工业革命都会推动对人们对更强打算工具的追求。第一次工业革命，查尔斯·巴贝奇提出了“剖析机”的观点，虽然未能完备实现，但奠定了机器打算设备发展的根本。后来，赫尔曼·霍尔勒斯开拓了一种可以实行不同运算的机器打算器，为机器打算设备的发展注入了新的活力。第二次工业革命，电力电气大发展为天下第一台电子打算机的涌现创造了条件，从而带来了半个多世纪的科技大发展。
时至今日，我们仍在享受打算机性能不断提升带来的红利。从手机到电脑，从本地到云端，无处不在的算力时候在为我们供应做事，本日的生活能如此便捷，离不开这一颗颗小小的算力芯片。就此话题，我们就来深入地盘一盘当下主流的AI算力芯片，在打算特点和功能上有何不同？
1
CPU——传统通用打算之王
本日的我们都知道CPU是打算机的心脏，但CPU详细是怎么运行的很多人不太清楚。CPU，全称Central Processing Unit，即中心处理器。当代电子打算机的发明是基于1940年代出身的冯·诺依曼架构，这个架构紧张由运算器（也叫逻辑运算单元，ALU）、掌握器、存储器、输入设备、输出设备等五个紧张部分组成。
按照冯·诺依曼架构，数据来了，会先放到存储器。然后，掌握器会从存储器拿到相应数据，再交给运算器进走运算。运算完成后，再把结果返回到存储器。大致的架构如图1所示，个中运算器和掌握器两个部分组成了CPU的紧张功能。
图1 冯·诺依曼架构
上面的打算办法，从数据输入到输出算一个完全的处理流程，冯·诺依曼体系采取的便是串走运算办法。即一次只能进行一项打算任务，只有上一个打算指令完成了，数据存储了，才能开启下一个指令。
这就好比排队进站，只有一个进站口和检讨口，也只许可排一条队，如果进站人数很多，就须要等待很永劫光才能完成进站，这便是CPU所采取的前辈先出运算模式。从个人打算机出身起，CPU的硬件架构到指令集都是基于串走运算模式设计，其上风是逻辑掌握力好，即打算通用性很好，为的便是能搪塞各种繁芜的打算需求，在软件对打算性能哀求不高的时期，这种设计是有上风的。
在上世纪80年代，个人打算机紧张用于大略的电子表格和文件打印等处理，但进入90年代，随着互联网的快速发展以及图形视窗操作系统的涌现，涌现了运用程序开拓的大爆发，当时在海内，从甩图板、财会电算化到大型网络游戏的引入，对个人打算机的运用性能越来越高，从而给CPU的性能带来了极大压力。
笔者是1998年打仗个人电脑，当时最大的感想熏染便是“慢”，不管是打开网页还是玩网络游戏，频繁涌现卡顿。也可能是当时的网吧配置低，但那时主流的电脑配置用的奔驰一，运行速率才60MHz，最高的电脑配置才奔驰二，主频450MHz。总体而言，在当时CPU性能实际上已跟不上运用软件的发展需求。
当初英特尔该当也是想急于改变现状，但限于制造工艺水平，想大幅提升CPU性能当时是很困难的，直到2000年奔驰四推出，主频达到1.5GHz，性能不敷问题才有所缓解。在此之前，唯一可行的便是将打算机的图形打算交出去，让CPU专司运用。
而就在此时，英伟达捉住机遇，承担起了图形处理任务，于1999年推出业界第一款GeForce 256图形卡，便是我们本日所说的GPU，专司图形处理。或许英特尔也未曾料到，20年后，这个曾经替自己接下算力“边角料”的小兄弟，早已超越自己，一骑绝尘而去。
2
GPU——高性能打算的引领者
GPU，英文为Graphics Processing Unit，又称显示核心、视觉处理器、显示芯片。GPU核心技能包括双重纹理四像素256位渲染引擎、立方环境材质贴图和顶点稠浊、硬件T&L（几何转换和光照处理）、纹理压缩和凹凸映射贴图。GPU是专门为处理图形数据而创建和调度的处理器。
GPU除作为独立显卡的核心用于个人电脑，为高清视频、大型游戏供应高质量3D图形渲染，基于GPU构建的专业显卡还配置在高端事情站上做繁芜的三维设计和工程仿真。但当前GPU最主要的运用处景还是AI打算，支撑AI大模型的演习和推理。那为什么CPU弗成，非GPU不可？
前面已经讲过，GPU的推出便是为了接手原来由CPU卖力的图形显示处理事情。因而GPU架构有其先天的打算特色，便是完备为3D图形处理而设计，便是在CPU的掌握指令下，为大量的实时的图形图像显示供应打算。由于是听候CPU安排，因此GPU的掌握单元比较少，打算单元却非常多，CPU和GPU的架构如图2所示。如果CPU是孤胆英雄，能独当一壁，那么GPU便是无数的小兵，靠规模致胜。
图2 CPU和GPU架构比较
由于CPU指令相对繁芜，它须要做好资源的调度和掌握，支持操作系统的中断处理、内存管理、I/O处理等，运算过程须要大量的逻辑掌握，因此内部的掌握单元较多，极大挤压了打算单元数量，使打算性能受到很大限定，还须要预留空间为数据建立多级缓存；GPU运算就不须要考虑这些，也无需太多的掌握单元，芯片上大部分空间都留给了打算单元，因此适宜并行打算任务和大规模数据访问，常日具有更高的带宽和更低的延迟。
试想一下，有个打算任务须要进行1000个加减运算，你说是一个人做快呢，还是让1000个人每个人算一个加减运算快呢，结果很显然。如何理解GPU所做的功？再举个例子：
现在电脑显示器的分辨率越来越高，以4K显示器来说，分辨率就达到了38402160，便是829万4400个像素点，按照RGB三色显示，单个像素的字节位就达到了24bit，也便是显示器刷新一次就要处理高达1.99亿个bit。如果再乘以显示器刷新率，一样平常高端显示器刷新率最低也在120Hz，一秒钟仅GPU就得处理240亿个bit。
可见，仅图形显示处理就对打算性能哀求很高。如果全部依赖CPU来处理，纵然性能再强也会不堪重负，并严重拖慢正常软件运用的打算效率。当然现在的CPU也发展出了多核心和多线程，英特尔最新发布的至强处理器就有64核心128线程，但比起英伟达H100的18432个CUDA核心，仍旧是小巫见大巫。
随着人工智能运用的不断深入，为AI大模型供应演习和推理运算已成为当前及未来一段韶光高性能打算发展的主流。由于英伟达早在十多年前就开启人工智能打算布局，GPU已成为各大AI运用的首选。而CPU受限于架构问题，在这场人工智能竞争中已经成为帮忙角色，但只管GPU风光无限，却仍旧存在强大的竞争者，而它便是ASIC！
3
ASIC——GPU面临最强竞争
去年12月，谷歌官宣了多模态大模型Gemini，包含了三个版本，个中Gemini Ultra版本乃至在大部分测试中完备击败了OpenAI的GPT-4。同时还丢出另一个重磅炸弹——TPU v5p，号称是现在最强大的AI自研芯片。
TPU，全称Tensor Processing Unit，即张量处理单元。所谓“张量（tensor）”，是一个包含多个数字（多维数组）的数学实体。目前，险些所有的机器学习系统，都利用张量作为基本数据构造。以是，张量处理单元，我们可以大略理解为“AI处理单元”。
图3 谷歌TPU
谷歌TPU便是基于ASIC专用芯片开拓，为了某种特定的需求而专门定制的芯片。ASIC芯片的打算能力和打算效率都可以根据算法须要进行定制，以是ASIC与通用芯片比较，具有以下几个方面的优胜性：体积小、功耗低、打算性能高、打算效率高、芯片出货量越大本钱越低。但ASIC芯片的算法是固定的，一旦算法变革就可能无法利用。
随着人工智能算法不断呈现，ASIC专用芯片如何做到适应各种算法是最个大问题，如果像GPU那样，通过架构来适应各种算法，那ASIC专用芯片就变成了同CPU、GPU一样的通用芯片，在性能和功耗上就没有上风了。这意味着玩AISC芯片须要强大实力，包括雄厚的资金，强大的技能实力和丰富的运用处景。
这里请把稳，谷歌去年发布TPU v5p的时候，一同发布了多模态大模型Gemini，该模型在图像、音频、视频和文本领域拥有强大的功能。与英伟达开放GPU购买策略不同，谷歌高端TPU紧张供自家产品和做事利用，这才是关键。换句话说，谷歌高端TPU是基于自家多模态大模型Gemini开拓的专用AI芯片，在自家的产品和做事上做到最优，性能表现丝毫不输GPU。
公开的信息显示，TPU v5p每个模块有8960颗芯片，较之上代v4的4096有所提升，且每块架构内的总浮点运算次数（FLOPs）增加至原来的四倍，吞吐能力达到惊人的4800Gbps。新型架构在内存及带宽方面更为出色，高达95GB的高带宽内存（HBM）远超TPU v4的32GB。
根据官方数据显示，谷歌的TPU v5p在演习大规模措辞模型上性能表现，达到了A100 GPU四倍，比起英伟达的顶配H100显卡性能也丝毫不落下风。当然这只是谷歌基于自身的Gemini模型做的测试，肯定在研发阶段就做了优化和匹配。但足见TPU v5p性能之强，同时也可以解释，ASIC芯片在AI大模型运用方面有着丝毫不输GPU的上风。
截至目前，谷歌、英特尔、英伟达都相继发布TPU、DPU等ASIC芯片，海内ICG、寒武纪、比特大陆、地平线、阿里巴巴等也都推出了深度神经网络加速的ASIC芯片。目前GPU运用范围广，市场非常成熟，但并不虞味着其他的芯片就没有机会，ASIC的发展势头依然很猛，正在成为GPU最强大的寻衅者。
4
FPGA——CPU智算的最佳伴侣
FPGA全称是可编程逻辑门阵列，内部构造由大量的数字（或仿照）电路组成，可以实现各种功能。FPGA是ASIC的一种，只是ASIC是全定制电路芯片，FPGA是半定制电路芯片，它办理了定制电路的不敷，又战胜了原有可编程器件门电路数有限的缺陷。
数据打算包括两种办法：一种是利用CPU或GPU基于指令的架构编写打算所需的软件，另一种是针对特定打算需求设计制造出一套专用的电路，比如ASIC、FPGA。但不同的是，对FPGA进行编程要利用硬件描述措辞，硬件描述措辞描述的逻辑可以直接被编译为晶体管电路的组合。以是FPGA实际上直接用晶体管电路实现用户的算法，没有通过指令系统的翻译。
比较于CPU 和GPU数据处理需先读取指令和完成指令译码，FPGA不采取指令和软件，是软硬件合一的器件。因而打算效率更高、功耗更低，且更靠近IO。
图4 FPGA芯片
举个例子，如果拿一块主频 3GHz的CPU和一块主频 200MHz的FPGA做运算，若做某个特定运算，CPU须要30个时钟周期，FPGA只需一个，则耗时情形：CPU：30/3GHz ＝10ns；FPGA：1/200MHz ＝5ns。便是说，FPGA 做这个特定运算速率比CPU块，能帮助加速。
除了打算效率更高，有机构对FPGA与CPU在实行深度学习算法时的耗能进行了比拟。在实行一次深度学习运算，利用 CPU耗能 36 焦，而利用 FPGA只耗能10焦，取得了3.5 倍旁边的节能比。通过用FPGA 加速与节能，让深度学习实时打算更随意马虎在移动端运行。
这便是为什么AMD和英特尔不惜重金收购FPGA厂商的缘故原由所在。在智能打算路线布局上，AMD实际上比英特尔更完善。传统CPU时期，AMD得到了英特尔X86架构授权，成为与英特尔并行而立CPU大商，而后通过收购显卡厂商ATI入主GPU赛道，成为英伟达的最大竞争者，到2022年通过收购FPGA领域老大赛灵思，AMD终极完成“CPU+GPU+FPGA”的智能算力计策布局。
而英特尔由于未能在GPU时竞开拓出能与英伟达同台竞争的超算产品，只能选择在2015年收购FPGA领域的老二Altera，终极形成“CPU+FPGA”的智能打算组合，虽非优选，但的确开拓了一条新智算发展新路线。
比较CPU和GPU，FPGA 凭借比特级细粒度定制的构造、流水线并行打算的能力和高效的能耗，在深度学习运用中展现出独特的上风，在大规模做事器支配或资源受限的嵌入式运用方面有巨大潜力。
此外，FPGA 架构灵巧，使得研究者能够在诸如GPU的固定架构之外进行模型优化探究。特殊是在采取FPGA后，即便芯片产品已经制造出来，但依然可以对其重新编程或进行功能升级。
5
写在末了
从1997年IBM深蓝打算机在国际象棋对弈中降服天下冠军卡斯帕罗夫，再到2016年谷歌AlphaGo在围棋比赛中降服李世石，包括后来将天下冠军柯洁斩于马下。这些年我们一次次地被人工智能展现出来的强大能力所震荡。特殊这两年，AI运用的快速发展，让我们真切地感想熏染到人工智能时期已经到来。但也认识到，人工智能发展仍处于低级阶段，AI运用对算力的需求是无止尽的。
目前主流Al芯片就三类：以GPU为代表的通用芯片、以ASIC定制化为代表的专用芯片以及以FPGA为代表的半定制化芯片，个中GPU市场最为成熟且运用最广。但人工智能家当发展除了须要强大的算力，还须要更精良的算法和弘大的数据支撑，GPU能否在AI算力竞争中持续保持上风仍是未知。在我们看来，有谷歌和华为背书的ASIC，以及英特尔和AMD背书的FPGA，未来都是有很大破局机会的。
转自"大众年夜众号：华南智能制造
