用Apollo设计芯片！Google说懂芯片才能更快「炼丹」_芯片_神经收集

文章目录 [+]

【新智元导读】「在某些情形下，深度学习能够比人类做出更好地设计芯片电路」，Jeff Dean如是说。

利用深度学习的力量来搜索更好的参数空间来设计电路，比人脑的穷尽更有效率。

用Apollo设计芯片！Google说懂芯片才能更快「炼丹」_芯片_神经收集用Apollo设计芯片！Google说懂芯片才能更快「炼丹」_芯片_神经收集科学

近日，Google在arxiv上揭橥一篇名为《Apollo: Transferable Architecture Exploration》的论文。

（图片来自网络侵删）

紧张作者之一Amir Yazdanbakhsh在其博客中详细先容了一个名为Apollo的研究项目。

这项事情可能标志着利用机器学习技能来优化芯片「构造」的开始。

Apollo项目

Jeff Dean 在一年前的国际固态电路大会(International Solid State Circuits Conference)中揭橥过一次演讲，认为「机器学习可以用于一些低层次的设计决策，也便是说在布局和走线(place and route)上，芯片设计职员可以利用软件来确定芯片的电路和布局，类似于设计建筑平面图。
」

比较之下，Apollo的目标不是要构建一个平面图，而是要完成芯片的体系构造的设计。
作者称其为「架构探索」(architecture exploration)。

架构探索比布局和走线的设计层级要更高，并且架构的改进能带来比布局走线更多的性能提升。

芯片的体系构造是一个芯片的功能元素设计，包括如何交互，软件开拓职员如何获取硬件接口。
经典的Intel x86处理器的片上存储器大小、专用算术逻辑单元和寄存器等等全部的片上元素，以及他们组合起来的办法一起被称为Intel架构。

作者称Apollo为「第一个可迁移的架构探索系统」，随着它设计更多不同的芯片，它的架构设计能力也会更好。
也便是之前学习到的知识能够迁移到新的芯片设计任务上。

作者团队正在开拓的芯片也是AI加速运算的芯片，和基于安培架构的GPU英伟达A100，Cerebras系统WSE芯片和其他创业公司的芯片类似。

「利用人工智能来设计人工智能芯片」，成为正反馈循环。

芯片的运算

由于任务是设计人工智能芯片，Apollo正在探索的架构是适宜运行神经网络的架构。
神经网络的运算由大量大略的数学单元、线性代数组成，紧张的运算是乘法和求和。

作者团队认为设计任务的目的是找到一种精确的办法来稠浊这些大略的数学算数来适配一个给定的AI任务。

他们首先选择了一个相称大略的AI任务，一个卷积神经网络MobileNet，2017年由Google的Andrew G. Howard和其团队设计，是一种不须要太多资源的神经网络。
此外，他们还测试了一些其他网络在不同任务（如目标检测、语义分割）的事情负载情形。

通过这种办法，目标重新被定义为：给定一个神经网络，什么芯片的参数构造能够让运算速率达到最快？

这个搜索过程对超过4.52亿个参数进行重排序，来探求对付一个模型来说最优的参数。
这些参数包括利用多少个数学单元（处理器），内存大小和激活函数的内存。