靠数量取胜：高性能打算处理器设计的新思路
在每年举办的顶级芯片会议中，如果说ISSCC是学术界和研究领域的芯片奥林匹克的话，那么Hot chips便是商用芯片的竞技场了。Hotchips迄今已经举行了三十多届，其会议内容紧张环绕业界最新的芯片发布，每年都会有来自Intel、Nvidia、ARM等半导体巨子带来自家芯片的内容，同时也有来自于一些新兴初创公司的芯片。可以说，Hotchips是半导体业界的主要风向标。
今年的Hotchips 2020中，人工智能和机器学习仍旧是关注的焦点。在所有的会议议程中，与人工智能/机器学习直接干系的共有三个（机器学习演习、机器学习推理、边缘打算），大概占全体会议议程的半壁江山。纵然是在其它传统议程例如做事器芯片和移动芯片中，机器学习仍旧是芯片的主要关注点。
那么，人工智能对付芯片来说带来了什么样的机会，同时又有哪些寻衅呢？Deepmind的Dan Belov在本届Hotchips上针对这些问题做了非常有启示性的特邀主题演讲。
人工智能对付芯片的寻衅
众所周知，谷歌旗下的Deepmind是环球人工智能领域最前沿研究的代表，之前发布的AlphaGo和AlphaGo Zero系列在围棋领域一举降服了人类最强的代表，可以说是本轮人工智能热的代表性事宜。Belov在主题演讲中，首先阐明了算力对付基于神经网络的人工智能的主要性。基于大型神经网络（也即算力需求更高）的模型每每性能远远超过较小的神经网络。因此，随着人工智能神经网络的每年迭代，其对付算力的需求也是逐年快速提升。
在半导体领域，纵然是在摩尔定律的黄金时期，处理器的算力也只是坚持在大约两年翻一番的水平。然而，在人工智能领域，新的神经网络模型对付算力的提升却是每年10倍的水平，从2012年的AlexNet到最近的AlphaGo Zero算力在6年内需求提升了三十万倍。虽然在2015年旁边涌现了新的人工智能专用芯片，一举实现了比较传统处理器10倍的人工智能算力提升，但是在这之后人工智能专用芯片逐年性能提升的速率还是赶不上神经网络每年10倍的需求提升速率，而在神经网络算力需求和目前芯片能供应算力之间的差距便是目前对人工智能芯片的寻衅，同时也是机会。它意味着目前半导体行业或许须要重新思考人工智能芯片的架构，以知足算力可扩展性的需求。
芯片追上人工智能算力需求的新思路
在考虑芯片发展的新思路之前，不妨先来看看整体处理器领域在算力可扩展性领域做了什么样的事情？事实上，打算机架构领域的David Patterson和John Hennessy早就在合著的经典教科书系列中给出了Warehouse as a computer（把全体数据中央看作一个打算机）的观点。这个观点提出应该把数据中央大略抽象化，把数据中央中的单个主机仅仅是看作一个可调度的运算单元，并用软件做调度。这样的观点起到了化繁为简的浸染，为数据中央的可规模化设计起到了非常好的辅导浸染。
在人工智能芯片领域，Belov在主题演讲中也给出了类似warehouse as a computer的思路。他认为，为了知足算力的可扩展性，人工智能芯片的未来设计须要借鉴数据中央的思路。在数据中央里面，每一台主机抽象地看都是相同的，在须要扩展算力的时候，只须要增加主机数量即可。把这个思路过渡到芯片上，便是单个人工智能芯片应该尽可能大略，同时尽可能把所有的部件都放到芯片上以减小访问外部器件造成的性能丢失；另一方面，不同芯片之间的互联和可扩展性应该非常好，在须要时可以大略地增加芯片数量来提升性能。
换句话说，Belov认为人工智能芯片设计的核心关注点不应该仅仅是单个芯片的性能，而该当是其可扩展性，如何能实现大量人工智能芯片可以协同作战，终极凭数量取胜，而非单个芯片的性能。这样思路背后的缘故原由是，目前半导体行业的摩尔定律基本已经靠近尾声，单个芯片性能的提升无论如何也难以跟上算力需求每年十倍的提升，那么与其关注单个芯片的性能，还不如关注多芯片协同打算的规模化能力，这样在算力需求上升的时候只须要支配更多的芯片即可。
靠数量取胜的思路会对芯片设计产生什么样的影响？
Belov关于靠数量取胜的思路确实与之前的芯片设计习气完备不同。例如，在处理器领域，绝大部分精力还是花在了如何把单个处理器芯片的性能做好，每每会为了不到1%的提升花费团队大量的韶光和精力。然而，这些提升比较于人工智能算力需求的提升差距实在太大，险些不值一提。而如果走靠数量取胜，看重可扩展性的方向，那么我们认为至少在以下技能方向上会值得关注和思考：
首先，从系统层面来看，软件正在变得越来越主要。传统处理器上利用的是硬件逻辑（超标量、分支预测、前瞻性实行）的方法来调度，但是在芯片数量大的时候，靠硬件做调度是困难的同时也是难以规模化的。因此，在靠数量取胜的范式中，大量的芯片共同事情要靠非常好的软件去做调度。落实到芯片设计上，便是在芯片架构在做早期设计时就会须要软件团队参与，一起从系统角度考虑以确保芯片架构的可扩展性。我们认为，在未来人工智能芯片领域软硬件协同设计将会是大势所趋，硬件芯片工程师也须要对付这类软件有足够的认识。同时，编译器等底层软件则又会成为一门显学。我们已经看到人工智能中，第一层面得到重视的是Pytorch、TensorFlow等人工智能框架，在这之后为了追求更高性能更底层一些的TVM也得到了关注，而目前关注点正在进一步下沉，从IR到编译器，未来我们认为很有可能会进一步与芯片架构整合。到那个时候，同时精通编译器和芯片架构直至电路的朋友将会成为市场上最紧缺的人才。
其次，从芯片角度考虑，可扩展性会让小芯片+数据互联技能加倍得到重视。这一点上，对付高等封装技能和高能效比的SerDes技能显然是一个利好。尤其是当芯片数量规模好比本年夜几个数量级的时候，显然要靠多个层次的互联——在封装级别，须要把多个小芯片封装在一起；在板卡级别，须要实现高性能的封装之间互联，而在更高层次的主机级别，须要用更高效的互联办法（是沿用目前Ethernet铜绞线还是走InfiniBand光互连的路径还未可知）来完成远间隔连接。这统统，对电路设计工程师来说都大有可为。
免责声明：本文由作者原创。文章内容系作者个人不雅观点，半导体行业不雅观察转载仅为了传达一种不同的不雅观点，不代表半导体行业不雅观察对该不雅观点赞许或支持，如果有任何异议，欢迎联系半导体行业不雅观察。
本日是《半导体行业不雅观察》为您分享的第2431期内容，欢迎关注。
★恩智浦的另一壁
★华为渡劫
★冰火交融的半导体设备市场
IC设计｜蓝牙｜5G｜封装｜博通｜台积电｜中芯国际｜EDA
