本文根据IBM中国芯片设计部门高等经理尹文，在「智东西公开课」的超级公开课IBM专场《POWER 9-认知时期的驱动力》 上的系统讲解整理而来。
本次讲解中，尹文老师从内核微架构、总线互连、异构打算等方面对POWER 9处理器进行了系统讲解，并表示人工智能的发展，使得如何让全体硬件平台知足不断迭代和不断蜕变的算法成为一个寻衅。大家也更加关注硬件和算法以及平台运用之间的耦合，以使人工智能运器具备更大的挖掘潜力。目前IT创新更多来自于加速器、I/O设备以及全体垂直软件栈和硬件之间的耦合，这些创新不仅仅能为深度神经网络供应加速的可能性，还可以知足上层的算法和运用进行不断迭代、不断延伸以及不断进化的需求。
尹文：大家晚上好，我是来自于IBM的尹文，感谢智东西供应互换的平台，能有机会跟大家一起互换。
本日禀享的主题是《POWER 9-认知时期的驱动力》，我会重点跟大家先容下POWER 9芯片的架构、技能特点以及一些技能策略，同时也会先容如何基于POWER 9搭建人工智能运用的做事器和它的运用范围以及生态。
2008年，IBM首次提出了聪慧地球这一观点，把打算又引入到了一个新的维度，便是打算本身可以感知天下实质的变革。其余，通过互联互通的技能让各个打算节点能够更多的互联互通，在这一根本上，打算机上面的负载以及所有的事务流程和运行办法也有了更加深入智能化的机会，因此企业在得到数据的同时，也更加须要一些智能的洞察。
如何来定义一个认知系统呢？我们认为，认知系统至少须要具备以下四个特点才能完成认知技能的定义。这四个特点可以缩写为URLI，也便是Understanding、Reasoning、Learning、Interaction。
首先在理解（Understanding）中，认知系统要像人类一样能够理解非构造化的信息。所谓非构造化，与它相对的是构造化数据，构造化数据是比较易于搜索，并且比较随意马虎被大家所操作。比如进行一些排序或者查找等；而非构造化数据，每每是不随意马虎搜索到的一些数据，包括我们所熟知的互联网上的音频、视频和社交媒体发布的各类多样的格式信息；
第二，认知系统必须要具备推理（Reasoning）能力，须要通过对数据进行接管和消化形成一个基本的观点，能够产生假设推断、提取想法、作出决定等这些类人类的逻辑能力；
第三，须要有学习（Learning）能力，通过在数据的提取互动和成果当中不断地学习，去增加一些新的知识；
末了是互动（Interaction），须要认知系统有看、听、说等类似于人类五官的特点。
从这张图我们可以看到，数据的代价是在不断提升的。在AI领域，大数据、打算能力和算法都是必不可少的，而数据在个中起了非常主要的推动浸染。之以是人工智能发展的速率这么快，也是由于大数据的兴起，而节制流量入口的那些互联网公司在人工智能领域都有很大的话语权。
同时对数据本身来说也有很明显的变革。回到2010年，大家会创造非构造化数据并没有呈现出爆发性增长的趋势，但在2015年，绝大多数的数据都是来自于非构造化数据，比如各种文本图片、多媒体数据，也包括物联网所采集到的各种仿照参数等数据。
预测到2020年，全体数据量会达到几十个ZB的数量级。不管是零售业、高性能打算还是企业级的运用，如医疗、油气等这些行业，增长趋势基本上都是相同的。同时在2020年前后，每天新产生的数据都会达到上亿ZB的水平。因此可以看出，随着运用的驱动会带来更大的数据量的井喷，从而导致全体数据的消化接管须要一些更加完善和更加智能的硬件平台。
刚才谈到认知的运用和大数据，我们知道现在大部分的运用都往云端转移，而这么多类型的认知运用，须要数据中央平台供应多大的打算力呢？可以看一下左边这张趋势图，黄色实线表示传统的数据量随着信息的增长呈线性增长趋势，赤色虚线表示智能化对数据的哀求呈指数增长的趋势，也便是智能化对数据的哀求更高，而智能化对打算的需求也在呈指数级增长。
通过右边这张图可以看到，之前大量打算力的花费都是在企业级运用负载上，比如传统的OA（办公自动化）、ERP（企业资源管理）以及CRM（客户关系管理）等企业级办公软件。
未来的互联网，包括云打算、人工智能等各方面都会对打算能力有新的哀求。比较于传统的数据库中间件和企业运用都呈线性增长趋势，在未来我们会有更多商业智能，包括各种人工智能运用，在大数据和深度学习根本上会有更大规模的增长，这种增长将是指数级的。因此，随着摩尔定律线性的增长，到入口带来大量数据的处理以及之后在云上，数据中央会有更多商业智能运用涌现，对打算力也会有不同量级的需求。
为什么DeepLearning和神经网络现在会被大家所熟知或者追捧呢？
基于神经网络的深度学习是人工智能方面的一些专家发明的，他们提出了各种各样的方法，包括反向传播、梯度低落演习、基于GPU神经网络的加速等。神经网络算法本身的构造是相对大略的，也非常有利于算法本身的扩展和延伸。从理论上来说神经网络算法可以近似为大家常常利用的一些函数，可以办理很多繁芜和抽象的问题。神经网络算法也非常适宜运用在图像识别领域，由于神经网络实质上办理的是分类问题，因此它在图像识别领域是一个非常直不雅观和能够达到实际运用代价的落地方向之一。
算法须要与硬件加速结合起来。我们都知道神经网络的构造是非常规整的，它对硬件构造上的哀求并不是那么高，因此硬件工程师可以大略地去堆砌和延伸打算单元。而现在神经网络中常用的打算单元是浮点乘加，这些打算单元的不断累积就可以实现对一定规模的神经网络算法的加速。随着芯片技能本身的不断延伸和进步，作为芯片开拓者可以越来越随意马虎将更多的打算单元集成到单块芯片上，从而达到算法的并行化，同时在打算的过程中，也不须要很繁芜的逻辑掌握。
从上图中右边的趋势图可以看到，最近几年通过搜索引擎对深度学习的搜索次数迎来了爆发性的增长，也解释越来越多人在深度学习上投入了大量的韶光去研究和学习，推动深度学习和算法、硬件等各方面的发展。
深度学习之以是在最近几年会呈现指数级的增长，缘故原由刚才我也提到，随着打算能力哀求的提升，在之前的技能中，打算量大并且很难进行多层打算，而基于很多层神经网络的深度学习使得快速打算成为了可能，打算力和算法的结合就形成了人工智能当中的热点区域，直接带动很多人工智能运用的落地。
从图上我们可以看到，深度学习是机器学习领域中的一部分，从全体人工智能以及认知打算领域来看，它也只是冰山一角。因此，在全体认知打算中，我们要对很多人类所熟知的一些征象和数据进行更加高等的剖析，这就对全体硬件平台以及打算力提出了更高的需求。
如何实现让全体硬件平台能够知足不断迭代和不断蜕变的算法也是一个寻衅。
认知时期对数据中央硬件的需求越来越高。在芯片行业有一个摩尔定律，随着摩尔定律的不断延伸，即硬件打算能力将随着韶光的延续可以不断地进行一定规律的增强。而随着芯片生产制造的设备以及全体架构支撑的投资方向的不断困难，摩尔定律正在不断的放缓，当半导系统编制造工艺达到7nm乃至5nm时能否延续摩尔定律将是一个问题。
随着人工智能的发展，我们将更加关注硬件和算法以及平台运用之间的耦合，这使得人工智能运用能够有更大的挖掘潜力，硬件设备也能达到最好的性能。IT创新更多来自于加速器、I/O设备以及全体垂直软件栈和硬件之间的耦合。这些创新不仅仅为深度学习神经网络供应加速的可能性，还包括全体人工智能和认知打算的范畴，并且能够知足上层的算法和运用进行不断迭代、不断延伸以及不断进化的需求。
这张图展示了POWER处理器的路线图。今年8月份在美国加州的Hot Chips 2018大会上，IBM公布了POWER 9和未来POWER处理器的路线图。
2018年和2019年，POWER芯片还将坚持在14nm制程、24核架构，也将连续优化内核架构，包括内存子系统以及I/O互联技能。
基于POWER 8和POWER 9架构，IBM将开放更多的芯片技能，在这种开放的根本上，我们可以跟更多的互助伙伴一起开拓基于POWER架构的处理器。
上图黄颜色部分便是基于POWER 8和POWER 9开拓的处理器。在互助伙伴开拓的过程中，我们可以根据一些特定的运用去选择不同工艺的架构。而对付未来的POWER 10，虽然它的架构还有很多须要去决策的地方，但是我们会让大家看到IBM在加速I/O互联以及前辈工艺等领域的不断更新和驱动。
在Hot Chips 2018上，IBM公布了POWER 10处理器会支持PCIE第五代技能，这是POWER 9在首发PCIe Gen4后在PCIE总线技能上的领先。IBM在最近十年，从POWER 6、POWER 7、POWER 8到POWER 9和之后的POWER 10，都持续在价格、性能和全体芯片的特点以及生态之间的耦合，包括未来对上层运用和软件生态等方面做持续的优化和创新。
从这张图我们可以看到POWER 9一共有24个核，每个核可以支持四线程SMT4。目前POWER 9芯片统共有120MB的L3，即三级非同等缓存（NUCA）架构，12块20路组相连的区域，片上的带宽最高可以达到7 TB每秒。
在云和虚拟化中，我们也有更多新的中断架构和策略，包括运用负载平衡上所带来频率优化策略以及受逼迫保护的硬件实行。其余值得一提的是，在全体硬件加速平台的支持上，POWER 9支持NVLink2.0接口；在I/O子系统中，也有环球首发的第四代PCIe接口，最多可以支持48路；其余，在对称多互联中，本地对称多处理系统（SMP）单通道也有高达16GB每秒的接口；在POWER 9工艺中，我们选择了14纳米 SOI FinFET工艺，全体芯片的规模达到了695平方毫米，集成了超过80亿个晶体管。
接下来我们来看下POWER 9内核微架构的细节。中间对应的是VSU，上面是IFU和ISU，取址和指令行列步队单元，最下面是LSU，是取址和存储指令的一些单元。从实行单元模块的数量来看，POWER 9在一个核里配了四个Load和Store、四个定点、四个浮点、四个VMX单元以及一个十进制浮点预测单元。在全体架构设计上， POWER 9具有更加前辈的算法来实现预测准确率。在标量方面有领悟的构造，在可实行单元位宽中，有128位位宽，统共可以实现256bit的数据实行位宽以及独立的Load和Store行列步队。其余在指令实行性能为8取指、6分派、9发射。
比较POWER 8，POWER 9采取了很多架构增强的技能，除此之外，在流水线设计上，取指令到打算的延迟缩减了5个时钟周期，紧张得益于全体微构造电路级别上的优化，当然还有一大部分也归功于全体工艺优化上的效果。以浮点指令为例，从实行到指令完成的延迟减少了8个时钟周期，以是从全体流水线的优化，可以看到POWER 9比较POWER 8还是做了很大的改进，流水线进一步优化也提升了POWER 9在面积、性能和功耗等方面的竞争力。
POWER 9内部有两个SMT4的库共享一个片上L3缓存。缓存也是基于SOI的工艺和eDRAM设计的，比较于SRAM，（ SRAM电路的机理最多是采取6个晶体管搭起来静态的电路，我们叫6T构造），eDRAM采取ETEC在硅片中打一个深沟道的模，由于在硅片中打一个深沟道的面积非常小，比较于传统的SRAM，eDRAM在面积上可以得到三倍的提升，也便是相同的容量，eDRAM只须要1/3的面积，同时能耗也可以得到很大的降落。基于eDRAM的存储构造，还可以在带宽上得到比较大的提升。
POWER 9芯片采取了17层的金属，金属层越多，芯片在物理设计上得到的灵巧性也更高。比如POWER芯片想要得到更好的电源稳定性以及时钟的稳定性，须要更多的走线资源，而POWER 9在全体电源网络和时钟网络中，采取Mesh构造，里面也有谐振时钟的电路，可以担保在频率非常高的运行状态下得到稳定的性能。
从认知和人工智能的运用对硬件平台的需求可以看出来现在人工智能的运用千差万别，算法也层出不穷。为了提高这种上层负载的灵巧性和交互性，底层硬件的打算率该如何来知足上层负载的灵巧性和交互性需求以提高硬件架构多样化也是一个主要的话题。
异构打算便是一个很好的办理方案，异构不是一个非常新的观点，在一二十年前就已经被提出来了，异构打算和异构编程也在之前的十多年中不断的发展。在全体异构打算框架下，异构的核心是交互。CPU作为host端，要和很多人工智能的硬件进行数据和任务交互，当然也包括GPU、ASIC、FPGA、Memory以及其他的人工智能芯片。
各种异构打算核心都有自己特殊的一些打算能力，现在全体打算机体系的构造仍旧因此CPU为核心。CPU，顾名思义便是中心处理器，如果大家把全体架构算作是厨房，CPU便是大厨，而善于各种不同任务的GPU、ASIC或是FEGA可以做各种不同菜系的帮手。作为一个大厨，CPU要建立一个高效的异构厨房来与各个小伙伴之间交互以及数据传输，还要担保大家对付一件事情理解的同等性。这是非常主要的，也表示了CPU总线在全体异构平台上的主要性。
总线有几个非常主要的成分：
首先是带宽，带宽要足够大才能担保大量数据的快速传输；
其次是延迟，比如数据从GPU到CPU，然后再回来，全体延迟尽可能要在全体内存上寻址；
末了是同等性，即担保同等性内存共享对上层编程的运用性是非常主要的。
在接下来的分享中我会针对这几点做深入的磋商。
POWER系列处理器从POWER 8到POWER 9，在异构打算互联的带宽以及同等性上是有很多创新的。从最早期的PCIe Gen3通过PCIe来连接加速器，随着POWER 9首次利用PCIe Gen4后，全体架构带宽翻倍，这种更大带宽可以支持更多的数据交互。
POWER 8处理器首次采取的NVlink1.0，相称于打通了POWER处理器和NVIDIA GPU之间的专用高速通路，但NVLink 1.0实际上并不支持统一同等性的内存共享。在NVLink 2.0中，不仅是全体物理传输速率的提升（从之前的16G到现在的25G），在全体内存同等性和地址转换上也有很大的提升。
想必大家对NVLink有比较大的兴趣，我们可以更加细致地来看一下NVLink是如何来实现POWER处理器和GPU之间的高效连接的。
NVLink作为一个总线接口，不仅仅是CPU和GPU之间的互联，也是唯一能够在POWER上实现CPU和GPU之间互联的技能，这也是POWER处理器与其他处理器不同的地方。NVLink可以带来很大的带宽。
上图右上角展示了一个最大略最根本的拓扑构造，两个POWER架构的CPU可以通过本地对称多互联（SMP）的技能进行同等性的连接，同时POWER处理器也可以通过CPU和GPU之间，GPU和GPU之间的NVLink做到双向高速的互联。基于这个构造，可以实现更加繁芜更加多样的CPU和GPU拓扑构造。在不断地去扩大拓朴构造的同时，我们可以去设计一个比较好的通信算法，随着拓扑构造CPU和GPU打算节点的增多，在算法的效果上可以有很好的线性度，这也是非常主要的。
当打算节点不断增加，有一个比较好的线性度对付大规模的打算集群的构建或是对一个数据中央的构建来说是有非常主要的意义的。首先它可以给全体系统带来更快的演习速率和更高的精度。
上图也是NVLink在全体POWER打算系统中的进化过程。 2016年，我们在POWER 8上发布了NVLink 1.0，当时也有做事器可以支持NVLink 1.0链接，通过NVLink来连接Pascal系列的GPU；从去年到今年中， POWER 9可以支持NVLink 2.0，支持Volta系列的GPU，比如V100，可以支持更高的带宽。上图中也有实测的带宽，还是比较靠近理论值的。
比较NVLink 1.0，NVLink 2.0可以让NVIDIA GPUs和POWER 9处理器有更加紧密快速的连接。
从紧密性来讲，我们可以看到一个最大的特点是作为异构打算非常关键的部分，异构编程一贯是全体异构打算系统中一个比较头疼的事情。POWER 9和GPU通过POWER 9上比较丰富的异构打算接口资源（NVLink 2.0）紧密相连，使得全体系统的内存在逻辑上可以被统一为一个更大的具有同等性的内存空间，可以同时供POWER 9和GPU来进行访问，这种同等性的模式可以让GPU和POWER 9之间更好的协同事情，从而提高全体系统的性能和功耗。
其余很主要的一点是，可以使编程的繁芜度大幅度降落，程序员可以更多去关注打算分配本身，而不用去过多的考虑Memory去寻址的问题。由于全体系统具有统一的同等性内存模型，针对该模型，可以去设计专门对统一寻址的模型根本优化过的软件库。
右边这个图是在编程当中，为了更好地利用POWER 9和GPU本身的打算特点和打算能力以及全体NVLink在中间数据调度的特点，首先在一个范例的高性能人工智能打算运用本身，从上到下（玄色彩的箭头）以韶光为顺序实行；从大的分块来讲，负载或运用程序整体的性能既受中心处理器CPU的影响，又会受GPU的影响。在大量的运用当中，它的掌握部分须要通过CPU来实行，这些串行的部分通过CPU来实行可以有效地降落延迟，而数据大规模的分发进行并行打算对付GPU来说也有很大的上风。
GPU的掌握是非常大略的，它的并行打算单元非常丰富，在GPU做完并行打算之后，在串行和并行打算的边界，POWER 9和GPU之间的数据交互须要一个非常大的带宽、极低的延迟和低功耗传输到POWER 9中进行处理，处理完之后在Memory中对数据进行存储，或是更新之后会有一些新的打算任务重新交回给GPU，然后再反复迭代并行和串行部分。
从这里可以看出，一个高速低延迟的接口，以及一个统一内存的模型对付全体编程和运用程序的性能调优来说是有非常大的好处的。目前POWER 9上有2 TB的统一寻址的内存空间。
接下来为大家先容下CAPI和OpenCAPI，也是POWER处理器上一个比较有特色的接口。
CAPI，也叫同等性处理器接口。在POWER 9上，我们首次有了OpenCAPI的观点，在OpenCAPI中，我们把传输层和链路层开放给互助伙伴和客户，他们可以去利用OpenCAPI的接口。OpenCAPI也连续保持了CAPI上同等性的特点，可以显著提升可编程性，我们紧张的运用是在FPGA上（当然也不局限于FPGA）。
在编程的运用性上，编程职员可以不用过多去考虑设备的驱动以及内核态内存操作，只须要用户态的程序就可以更加方便地跟加速器进行互动。OpenCAPI不像之前CAPI 1.0和2.0，它是架设在全体PCIe物理接口上的，相称于它的协议变得更薄，这样所带来的好处便是接口的延迟和逻辑量会有极大的提升。
POWER 8上的CAPI 1.0是基于PCIe Gen3的，CAPI 2.0时升级到Gen 4；而OpenCAPI的物理传输通路采取了25G的标准，在通道数上没有太多的变革，而在Device灵巧性上有了很大的提高。值得一提的是，由于OpenCAPI的协议层更加的薄，延迟上基本上有一个数量级的提升。如果大家对OpenCAPI有更多的兴趣，可以访问OpenCAPI的官方网站以获取更多信息。
POWER 9在事情负载中深度优化可以分为四大类：
第一、在剖析打算人工智能和认知打算上的一些优化特点，在POWER 9上，从内核的设计、实行单元的模块化、流水线性能的提高以及单线程能力的提高，使得POWER 9可以支持更加繁芜的、对打算力哀求比较高的一些人工智能负载。通过打算力的不断提升，可以供应更多的打算资源。在加速上，POWER 9有丰富的加速接口，可以支持更多OpenPOWER。在运用负载上，POWER 9对全体大数据、SAP、DB2 BLU、IBM内部的认知打算以及各种业界广泛利用的大数据平台和人工智能的算法框架都有很好的支持。
第二、高性能打算，接下来我会给大家重点分享橡树岭实验室以及劳伦斯利佛摩尔国家实验室。
第三、在云打算和数据中央上， POWER 9有不同I/O接口和封装的选择，可以有更多的系统设计方案。在虚拟化能力上，目前我们对云的安全哀求也在不断的提高，同时对付中断也会有更多的优化。POWER 9上有着良好的网络扩展和内存的性能。
第四、企业级运用，也是POWER打算系统一贯以来的强项，比如OA等传统的企业级运用，而且大规模容量的缓存技能也对企业级大数据运用有很好的支持。值得一提的是，IBM在企业级运用上的可靠性和可扩展性在业界一贯都处于领先的地位。
这里跟大家先容基于POWER 9所搭建的AC922人工智能做事器。
今年6月份，在德国举行的超算大会上，基于AC922的超算集群登上了HPC Top500的榜首。AC922是基于POWER 9芯片的人工智能做事器，是天下上迄今为止速率最快的做事器。在人工智能模型演习上，AC922比较传统的做事器有高达3.8倍的韶光缩短，在数据库性能上也有靠近2倍的提升。该做事器的规格是2U 19英寸机架式机箱，也是现在数据中央非常普遍的利用规格。每个做事器中有两个POWER 9处理器，在数据中央的利用当中，基本上达到了70%以上的利用率。同时，AC922可以支持4到6个NVIDIA Volta GPU，把这些组件集成到一个主板上，放在一个标准的机架式机箱当中，并且可以扩展主动式网络。
珊瑚操持（CORAL）是美国能源部下几个研究机构的凑集，包括橡树岭国家实验室、阿贡实验室以及劳伦斯利佛摩尔国家实验室。这些实验室紧张从事根本学科的研究，包括高能物理、节能材料以及宇宙等各种剖析，它们都须要很大的打算量。而基于AC922所搭建的Summit和Sierra两个别系，可以很好的支持这些打算。这两个别系都可以达到亿亿次级的AI操作，也叫Exascale操作。比较于老一代的泰坦做事器，可以达到十倍以上打算性能的提升，在各种运用处景上，也可以达到5到10倍的提升。同时在今年年初，Summit和Sierra系统在这几所研究机构均实现了全面的支配。
实在早在1954年，IBM就利用超级打算机进行景象预测和很多繁芜的打算。截至目前为止，IBM在超级打算机上已经有长达半个多世纪的探索和创新。当中有大家熟知的深蓝（Deepblue）、蓝色基因（Blue Gene）、Watson以及Sequoia这样的超级打算机。美国橡树岭国家实验室的Summit超算集群也是今年HPC高性能打算大会上公布的迄今为止速率最快的超算打算集群。
在未来两年（2020年前后），全体超算要向亿亿次级去迈进，美国能源部对此投资超过2亿美金，而我们也知道在实际上要达到亿亿次级别的打算是非常困难的。IBM作为在超级打算领域的领军者，我们认为，未来打算还是以数据为中央的，基于超大数据规模的繁芜打算、建模和仿真去构建一个更加可扩展、可靠和可控的办理方案。
其余，在百亿亿级次打算系统设计中紧张技能寻衅在于电源效率、可靠性、可扩展性以及可控性。对付电源效率，须要强调一点，目前一个超算的能耗基本上达到了上百千瓦。对付百亿亿次级的超算中，如果不提升电源效率，全体功耗将会达到兆瓦级别，是相称胆怯的，如果再连续像这样发展下去，在百亿亿次级时期，一个超算打算集群或者一个数据中央，可能就须要一个发电站来给它供电了。因此在电源效率、可靠性、可扩展性以及散热等各方面的寻衅是贯穿全体超算系统涉及的各个领域。
人工智能的负载须要更多打算的灵巧性，随着事情负载需求的不断增加，摩尔定律很难连续线性化地去知足性能。在硬件哀求上，纯挚的一家公司是很难知足多样化的事情负载变革的，这就须要一个更开放式的平台。
OpenPOWER便是基于这样理念的平台，并期望能够成为开放创新的驱动力。在OpenPOWER出身之初，我们也希望能够供应更多开放式的开拓环境，并且能够在基于高性能的POWER处理器架构的情形下让全体系统能力得到更大的提升。OpenPOWER不仅仅是系统设计，包括芯片领域也希望能够跟互助伙伴一起去产生更多的POWER衍生芯片，从而知足更多这种负载多样性的需求。OpenPOWER做事器的类型在不断的丰富，生态也在不断的壮大。对付客户来说，他们将会有更多的选择。
