作者：Yujia
参与：Haojin、Nurhachu Null
长期以来，人脑一贯给研究者们供应着灵感，由于它从某种程度上以有效的生物能量支持我们的打算能力，并且以神经元作为根本引发单位。受人脑的低功耗和快速打算特点启示的神经形态芯片在打算界已经不是一个新鲜主题了。由于繁芜算法和架构的快速发展，散热已经成为了一个重大寻衅。神经形态打算或许会是超大规模机器和人工智能运用（例如自动驾驶）未来的基石。机器之心在这篇文章中对神经形态打算进行理解读先容，本文的英语原文首发于机器之心英文官网：地址:https://syncedreview.com/2017/04/08/the-future-of-computing-neuromorphic/
神经形态芯片——硅脑
「不知为何，人脑——我们自己的生物体——已经弄清楚了如何让人脑在通报 AI 操作上比传统的超级打算机快一百万倍」神经形态是一次机会，它考试测验提出一个基于 CMOS 的架构，它能够模拟人脑，从人脑模型中获益，保持能效和本钱效益。
——Mark Seager, Intel Fellow，可扩展数据中央 HPC 生态系统的 CTO
神经形态芯片的最初思想可以追溯到加州理工学院的 Carver Mead 教授在 1990 年揭橥的一篇论文。Mead 在论文中提出，仿照芯片能够模拟人脑神经元和突触的活动，与仿照芯片的二进制实质不同，仿照芯片是一种输出可以变革的芯片。模拟人脑活动的意义在于我们可以通过它们来学习。传统的芯片在每一次传输中都会保持固定的特定电压。正如 Mead 在 2013 年的对话中提到的一样，当碰着在本日的机器学习任务中被利用的繁芜算法和架构的时候，散热就成了芯片行业中最大的寻衅。
相反，神经形态芯片只须要一个低水平的能耗，由于它的类生物实质。人脑非常节能的一个缘故原由便是，神经冲动在通报的过程中只会放掉一小部分的电量。只有当积累的电量超过一个设定的界线时，旗子暗记才会通过。这意味着神经形态芯片是事宜驱动的，并且只有在须要的时候才会运作，这就导致了一个更好的运行环境以及更低的能耗。
图片来自 Matt 的「Brain-Inspired-Computing，脑启示打算」，由高通供应
几家公司已经投资了在脑启示打算中的研究。无线技能公司高通在 2014 年的时候展示了引人入目的基于神经形态芯片的机器人。这款机器人能够在智好手机芯片上用修正过的软件实现常日须要专门编程的打算性能力实现的任务。IBM 2014 年生产的 SyNAPSE 芯片也是用脑启示打算架构构建的，它有着难以置信的低功耗，在实时运行中只有 70mW。最近，神经形态再次引起了 IBM 和英特尔这些公司的兴趣。与之前 2013、2014 年那时候意欲制造市场化的产品不同，这次他们希望以研究的目的进行探索。
英特尔在 2012 年就作为第一批原型之一提出过一种类似于生物神经网络的自旋—CMOS 稠浊人工神经网络（spin-CMOS Hybrid ANN）的设计样例。在这个设计中，神经元磁体构成了触发部位。磁隧道结（MTJ）类似于神经元的细胞体，域墙磁体（domain wall magnets，DWM）类似于突触。通道中心区域的自旋势能即是掌握激活/非激活状态的细胞体的电势能。CMOS 的检测和传输单元可以被比作传输电旗子暗记到接管神经元的突触（如图 1 所示）。
图 1：仿照生物神经网络的自旋—CMOS 示意图
除了低功耗方面的上风，神经形态设备还比较善于在那些除了超级打算之外的须要模式匹配的任务，例如自动驾驶和实时传感馈送神经网络。换句话说，便是那些须要仿照人脑思考或者「认知打算」的运用，而不是大略的更强能力的繁芜打算。正如 Mark Seager 所建议的，神经形态的发展该当聚焦于具有大量浮点向量单元和更高并行度的架构，并且能够以相称统一的办法去处理高度分层影象。更详细的，关于神经网络，研究的重点是如何通过互联来并行化机器学习的任务，例如英特尔开拓的 OmniPath，来办理更大、更繁芜的机器学习问题，从而在多节点上进行扩展。目前扩展性限定在数十个到数百个节点之间，这让神经形态芯片的潜能受到了限定。然而，有一件事是合理的，即随着打算神经网络算法和模型的进步，可扩展性可以大幅增加，这会许可神经形态芯片有着更多的进步空间。
图片来自 Matt 的「Brain-Inspired-Computing，脑启示打算」，由高通供应
然而，我们必需承认，只管神经形态在未来的打算方向上是很有出息的，但是它们仍旧处于理论水平，并且还没有被大量地生产。有几种设备听说有神经形态芯片的元素，尚且存在争议，例如 Audience 生产的噪声抑制器，但是它们还未向目前大量的要得到其性能评估的刺激低头。正在进行的研究已经被证明有了战胜实现神经形态芯片所碰着的困难的进展性事情，并且给神经形态打算许诺了一个美好的未来。
实验
「这个架构能够办理从视觉、声音以到多场景领悟的很广泛的问题，并且有潜力通过在打算受到功率和速率限定的设备中集成类脑性能来改造打算机家当。」
—Dharmendra Modha, IBM Fellow
神经形态的目标是将神经科学作为算法的灵感来从中抽象出关键思想来辅导神经形态打算架构的未来发展方向。然而，将我们的生物构造转换为振荡器（oscillators）和半导体的电气设备并不是一件随意马虎的事情。
为了得到神经形态芯片的上风，须要大量的振荡器来进行模拟。本日的深度神经网络早已拥有数百万个节点，更别提朝着拥有更多节点的更繁芜的神经网络的努力正在进行。为了达到和人脑相称的能力，须要数十亿个振荡器。利用软件来引发如此巨大的神经网络是特殊耗能的，但是用硬件来处理的话就会好很多。为了将所有的节点都支配在指尖大小的芯片上，纳米级的振荡器是必不可少的。
那么问题来了，由于纳米级的振荡器很随意马虎受到噪声的影响。这类振荡器在热扰动下会改变行为，并且它们的特性会随着韶光的变革而发生漂移。神经形态打算在对付处理电路中的噪声方面做得不是很好，只管它可以容忍输入的不可靠性。以分类任务为例，当供应相似的输入时，每次都须要相同的神经网络分类。由于噪声缘故原由，只存在用纳米级振荡器实现神经形态芯片的理论方案，而不是实证明现。然而，一篇最近的文章提出了能够战胜这个困难的办理方案，并且成功地仿照了利用专用纳米磁振荡器的神经元凑集的振荡行为。
图 2 左边：自旋矩纳米振荡器示意图；中间：振荡器的丈量电压随着韶光的变革；右边：电压幅值随着电流的变革
研究者已经创造，在特定的动力学条件下，利用自旋矩振荡器可以高信噪比地同义地实现完美的分类结果。如图 2 所示，自旋振荡器包括两个题词曾和一个夹在中间的正常间隔组件，和当前磁存储器单元有着完备相同的构造。如上图所示，由充电电流产生的磁化振荡被转换成了电压振荡。之后关于语音数字识别的实验证明自旋矩振荡器在神经形态任务上可以达到当前最佳的表现。
一个比较大略的波形识别任务被用来研究自旋振荡器在模式识别中的浸染。每一个正弦波或者方波都被标记了 8 个离散的红点，任务哀求在红点处区分正弦波和方波。图 3b 表明为了创建空间神经网络中蓝色部分所描述的路径，须要很多非线性神经元。如图 3c 所示，路径也可以根据韶光来定义，例如根据每一个振荡器幅值的非线性轨迹。每一个输入将会触发振荡器幅值的特定路径，并且，如果韶光步长被设定为振荡器松弛韶光（relaxation time）的一部分，这将会天生一个瞬态的动态状态。这意味着，与传统的神经元空间分离的神经网络比较，单个振荡器作为在韶光上相连的一组虚拟神经元。这个功能创建了一个关于过去事宜的影象池，并且，如果之前的输入有所不同，这会让振荡器在面对相同的输入时有着不同的相应。由于振荡器的松弛韶光有限，以是对正弦波和方波的完美分离也是可能的。
图 3. 正弦波和方波分类
在硬件上仿照神经网络的迭代演习也能够补偿处理过程中存在的非常。正如上面提到的一样，在仿照硬件的环境下，失落真可能在动力学中起到主要的浸染。掌握这些非常是很主要的，由于网络的性能基本上要依赖瞄准确参数的演习。
利用由软件演习的深层神经网络转换的 BrainScaleS 晶圆级神经元系统上的尖峰网络来证明在线演习所供应的补偿。然后在每个演习阶段进行一次循环演习，然后记录活动。网络活动首先记录在硬件中，并利用反向传播算法进行处理，以更新参数。研究职员创造，参数更新在演习步骤中不一定要精确，而只须要大致遵照精确的渐变趋势。因此，可以简化该模型中更新的打算。只管仿照基板的固有变革，这种方法许可快速学习，只需几十次迭代即可达到靠近空想软件仿真原型的精度。
图 4 左：软件模型每一批的分类精度随演习迭代步数的变革；右：硬件履行的时候 130 次运行过程中精度的变革
神经形态硬件实现常日会在系统精度上面临其余一个紧张的寻衅。突触权重的有限精度会降落系统精度，这阻碍了神经形态系统的广泛运用。
纳米级的振荡器该当得到连续的仿照电阻，但是在实际设备中仅仅能够实现几个稳定的电阻状态。一项最近的事情提出了三种校正方法，以学习一级精度（one-level precision）的突触：
分布感知量化（DQ/distribution-aware quantization）将不同层中的权重离散到不同的数值。这个方法是基于对网络不同层的权重的不雅观测提出的。
量化正则化（QR/quantization regularization）直接在演习过程中学习网络的离散权重。正则化可以以一个固定的梯度来减小一个权重和离它最近的量化水平之间的间隔。
动态的偏置调节（BT/bias tuning）可以学习最佳的偏置补偿以最小化对量化的影响。这还可以在基于神经形态系统中的忆阻器中的减轻突触变革的影响。
这三个方法让模型实现了和当前前辈水平相称的图像分类精度。利用多层感知机和卷积神经网络分别在 MNIST 数据集和 CIFAR-10 数据集上进行了实验。
表 2 中的结果表明，与基准准确率比较，当仅仅利用三种精度改进方法中的一种时，准确度会有很大的提升（分别是 1.52%，1.26% 和 0.4%）。当两种或者三种方法被同时利用时，准确率还会更高，靠近于空想值。在利用卷积神经网络的时候会有同样的创造。一些组合，例如 QR+BT，与仅仅利用 QR 比较，准确度并没有提升（如表 2 所示）。这很可能是由于 MNIST 是一个相对大略的数据库，而且这三种方法对准确度的改进已经快速地达到了饱和水平。在多层感知机和卷积神经网络中，准确度低落被掌握在了 0.19%（MNIST 数据集）和 5.53%（CIFRAR-10 数据集），与未利用这三种方法的系统比较，准确度的低落明显要低很多。
结论
随着机器学习算法和模型的进步，新颖的架构将会变得急迫须要。由于低功耗和高度并行化的快速打算速率，神经形态设备在人工智能和认知打算的运用中有着巨大的潜能。只管当前的神经形态芯片仍旧处于理论水平，正在朝其实际运用和市场化产品进行，研究者已经展示了一些有前景的研究。这是未来的一个方向，一个能够大大地改造打算天下的有潜力的方向。
「我一贯在思考人们如何创建大规模并行的系统，我们唯一拥有的例子便是动物的大脑。我们构建了很多系统。我们制造了视网膜、耳蜗——很多东西都见效。但是创建大规模并行系统是比我曾经的思考更大的一个任务。」
—Marver Mead
参考资料：
https://web.stanford.edu/group/brainsinsilicon/documents/MeadNeuroMorphElectro.pdf（斯坦福神经形态调子系统论文）
https://www.nextplatform.com/2017/02/11/intel-gets-serious-neuromorphic-cognitive-computing-future/（Intel 关于神经形态和认知打算的下一代平台）
http://news.mit.edu/2011/brain-chip-1115（MIT 模拟人脑的芯片）
https://www.youtube.com/watch?v=cBJnVW42qL8 (Matt Grob: Brain-Inspired Computing, Presented by Qualcomm)（高通脑启示打算）
https://www.youtube.com/watch?v=_YQTp3jRMIs（神经形态--从机器到生活，TED 演讲）
https://arxiv.org/abs/1206.3227（利用自旋设备的神经形态硬件）
https://arxiv.org/abs/1703.01909（在 BrainScaleS Wafer-Scale 系统上演习深度网络）
https://arxiv.org/abs/1701.01791（神经形态系统上的分类任务）
https://arxiv.org/abs/1701.07715（纳米级自旋振荡器上的神经形态打算）
https://www.technologyreview.com/s/526506/neuromorphic-chips/（神经形态芯片）
https://science.energy.gov/~/media/bes/pdf/reports/2016/NCFMtSA_rpt.pdf（神经形态打算--从材料到系统构造）
