作者:SANDEEP RAVINDRAN
机器之心编译
参与:罗赛男、张倩

在用硅芯片仿照人类大脑的路上,科学家们已经做了一些考试测验,但其速率和能耗都让人无法接管。因此,研究者提出用神经形态芯片代替传统芯片来完成这项艰巨的任务。神经形态芯片是受人脑启示创建的一种芯片,具有速率快、能耗低、可扩展能优点。本文详述了神经形态芯片的基本观点、上风、发展进程及现状。
2012 年,打算机科学家 Dharmendra Modha 利用一台强大的超级打算机仿照了超过 5000 亿个神经元的活动,乃至比人脑中约 850 亿个神经元还要多。这是近十年事情的高潮,十年间,Modha 从仿照啮齿动物和猫的大脑发展到仿照人类规模的大脑。
这一仿照花费了大量的打算资源--150 万个处理器和 1.5PB(150 万 GB)的内存,打算速率却仍比人脑慢 1500 倍,令人难以忍受。Modha 估计,要使其达到人脑的实时运行速率,须要 12 千兆瓦的能量,大约是胡佛水坝最大输出能力的 6 倍。
「然而,这只是仿照大脑处理一幅卡通画所需的能量」,加州北部 IBM 阿尔马登研究中央类脑打算首席科学家 Modha 说。这一仿照根本无法复制人脑的功能,由于人脑利用的能量与一个 20 瓦的灯泡相称。
自 21 世纪初以来,硬件的改进以及实验和理论神经系统科学的进步使研究职员能够创造出更大更详细的大脑模型。但是越繁芜的仿照越随意马虎受到传统打算机硬件的限定,正如 Modha 的耗能模型所展现的那样。
Modha 的人脑仿照实验在劳伦斯利弗莫尔实验室中完成,运行于搭载蓝色基因 BlueGene/ Q 系统的 Sequoia 超级打算机之上,Sequoia 是一个传统打算机硬件的超强凑集体:它由大量传统打算机芯片、含数百万晶体管的指甲大小的硅晶片驱动。掌握传统打算机芯片构造和功能的规则与我们人类的大脑完备不同。
但事实上,打算机完备不同于人类「思考」办法使得它们在进行数值打算等任务时具有上风。而在其它领域,如理解人类措辞或从履历中学习,打算机明显掉队于人类。如果科学家想要仿照出一个可以与人类智能相媲美的大脑,他们可能必须从更好的构件——由人脑启示的打算机芯片(神经形态芯片)开始。
所谓的神经形态芯片复制了大脑的构造——也便是说,它们利用类似于神经元动作电位的「神经元脉冲」相互互换。这种脉冲行为许可芯片花费极少的能量,并且纵然将之拼接成非常大规模的系统时,也能保持节能。
「在我看来,最大的上风是可扩展性」,安大略省滑铁卢大学的理论神经科学家 Chris Eliasmith 说。在他的《如何构建大脑》(How to Build a Brain)一书中,Eliasmith 描述了一个由他创建并命名为 Spaun 的功能性大脑的大规模模型。
当 Eliasmith 运行 Spaun 的初始版本时,它有 250 万个「神经元」,纵然这个模型运行在最好的传统芯片上,运行速率也比生物神经元慢 20 倍。「每当我们增加几百万个神经元,它就会相应得再慢几十倍,」他说。
但当 Eliasmith 在数字神经形态硬件上进行一些仿照时,他创造它们不仅速率快得多,而且能效赶过 50 倍。乃至更好的是,随着 Eliasmith 仿照了更多的神经元,神经形态平台变得更有效。这是神经形态芯片旨在复制自然的方法之一,假定大脑模型从蠕虫大脑的 300 个神经元扩大到人脑的 850 亿个神经元,大脑的能量和效率会按比例增加。
神经形态芯片在实行繁芜打算任务时花费极少的能量,这一能力已经引起了科技行业的关注。神经形态芯片的潜在商业运用包括节能超级打算机、低功率传感器和自学习机器人。但是生物学家想到一个不同的运用:构建一个功能完备的人类大脑复制品。
神经形态硬件借鉴了动物神经系统的架构,通过类似于生物神经元动作电位的脉冲转发旗子暗记。这一特性使得硬件花费的能量更少,比在传统芯片上运行大脑仿照要快几个数量级。
图片由友尼森欧洲有限任务公司供应;© 海德堡大学;英特尔公司;IBM 研究院
现今的许多神经形态系统,从 IBM 和英特尔开拓的芯片到作为欧盟人脑操持一部分创建的两个芯片,都对能够远程访问系统来运行仿照的研究者开放。研究职员正在利用这些芯片来创建单个神经元和突触的详细模型,并译解如何将单元组合在一起来创建更大的大脑筋系统。
这些芯片许可神经科学家测试关于视觉、听觉和嗅觉在实际硬件上事情事理的理论,而不仅仅是在软件上。最新的神经形态系统也使研究职员能够开始复制人类思考和学习办法这一更具寻衅性的任务。
现在还为时尚早,真正开拓入迷经形态芯片的潜力须要理论、实验和打算神经科学家以及打算机科学家和工程师的共同努力。但是终极的目标是宏伟的——那便是弄清楚大脑的各个组成部分是如何共同创造思想、觉得乃至意识的。
英特尔神经形态打算实验室主任、打算机工程师 Mike Davies 表示:「对大脑进行逆向工程是我们能够承担的最年夜志勃勃的技能难题之一。」
统统都离不开架构
加州理工学院科学家 Carver Mead 于 20 世纪 80 年代创造了「神经形态」(neuromorphic)一词,此前他把稳到,与构成当代打算机芯片的数字晶体管不同,仿照晶体管更靠近于神经元的生物物理学特性。
详细来说,仿照电路中非常眇小的电流——小到电路实际上处于\"大众关闭\"大众状态——表现出的动力学类似于通过生物神经元通道但不会导致动作电位的离子流。
被 Mead 和他同事们的事情所吸引,20 世纪 90 年代中期,Giacomo Indiveri 决定在加州理工学院进行他的博士后研究。现在,作为瑞士苏黎世大学的神经形态工程师,Indiveri 管理着为数不多的几个连续利用 Mead 方法(即利用低电流仿照电路)的研究团队之一。
Indiveri 和他的团队手工设计芯片的布局,这一过程可能须要几个月的韶光。「这是用笔和纸完成的事情,由于我们试图提出优雅的办理方案以实现神经动力学,」他说。「如果你做的是仿照电路,那么它在很大程度上仍旧是一门艺术。」
一旦完成告终构,他们就会把设计通过电子邮件发给一家代工厂——与生产智好手机和电脑芯片具有相同精度的金属铸造厂。终极的芯片看起来大致就像一个智好手机芯片,但它的功能就像是通过几个节点传播电子脉冲的「神经元」网络。在这些仿照神经形态芯片中,旗子暗记通过不同强度的实际电压脉冲来转发。就像在大脑中,信息是通过不同神经元脉冲时序来通报的一样。
「如果你向神全心理学家展示个中一个神经元的输出,他将无法见告你这是来自硅神经元还是来自生物神经元,」Indiveri 说。
这些硅神经元代表了一种复制人类神经系统的不完美考试测验。生物神经元是仿照-数字稠浊系统;它们的动作电位模拟数字硬件的离散脉冲,但它们也是仿照的,由于神经元中的电压电平影响被传输的信息。
仿照神经形态芯片具有与生物神经元的物理行为非常相似的硅神经元,但它们的仿照特性也使得传输的旗子暗记不那么精确。虽然我们的大脑已经进化出填补其禁绝确部分的能力,但研究职员已经将这一基本观点带入了数字领域。
IBM 和英特尔等公司专注于数字神经形态芯片,其硅神经元复制具有不同物理特性的信息在生物神经元中的流动办法,其缘故原由与传统数字芯片统领我们绝大多数打算机和电子产品的缘故原由相同——它们具有更高的可靠性并且易于制造。
照片由友尼森欧洲有限任务公司供应
构建模块:每个 SpiNNaker 芯片与内存(左上角)封装在一起,然后拼接成更大的设备,如右上角的 48 节点板。多个板可以连接在一起,形成更大的 SpiNNaker 系统(如上)
但是这些数字芯片按照捕获到的大脑的架构来坚持它们的神经形态状态。在这些数字神经形态芯片中,脉冲以信息包的形式涌现,而不是实际的电压脉冲变革。英特尔的 Davies 表示:「这与我们常日在打算机上设计的任何东西都大不相同。」
无论脉冲采取何种形式,该系统只在输入达到某个阈值时通报信息,许可神经形态芯片每次少量而不是大量花费能量。这类似于大脑神经元在它们准备好时而不是在定时器的命令下进行通信的办法。另一方面,传统芯片大多是线性的,数据穿梭于存储数据的内存硬件和由严格内部时钟掌握进行数据打算的处理器之间。
当 Modha 设计 IBM 的神经形态芯片 TrueNorth 时,他首先剖析了大脑的长间隔接线图,这些图描述了猕猴和人类大脑不同区域之间的连接情形。「它真正开始见告我们有关长间隔连通性、短间隔连通性,以及神经元和突触动态的信息,」他说。
到 2011 年,Modha 发明了一种含有 256 个硅神经元的芯片,其规模与线虫的大脑相同。利用最新的芯片制造技能,Modha 将神经元封装得更紧,以缩小芯片尺寸,并将 4096 个这样的芯片拼接在一起,才有了 2014 年 TrueNorth 的发布。TrueNorth 包含 100 万个合成神经元——相称于一个蜜蜂大脑的规模——花费的能量比传统芯片少几百倍
神经形态学芯片(如 TrueNorth)在其人造神经元之间具有非常高的连通性,类似于在哺乳动物的大脑中看到的那样。大规模并行处理的人脑的 850 亿个神经元通过大约 1 千万亿个突触高度互联。
TrueNorth 要大略得多——它包含 2.56 亿个「突触」,连接着 100 万个神经元——但是通过将多个 TrueNorth 芯片拼接在一起,Modha 创造了两个更大的系统: 一个仿照了 1600 万个神经元和 40 亿个突触,另一个仿照了 6400 万个神经元和 160 亿个突触。目前,超过 200 名来自不同机构的研究职员可以免费利用 TrueNorth。
除了高度互联性和脉冲特性,神经形态芯片还复制了生物神经系统的另一个特色: 传统的打算机芯片将处理器和内存分散在不同的位置,但神经形态芯片每每有许多微型处理器,每个微型处理器都有少量的局部存储器。
这种构造类似于人脑的组织,神经元同时进行数据存储和处理。研究职员认为,这种神经形态架构要素可以使得这些芯片建立的模型更好地复制人类的学习和影象。
学习能力是英特尔 Loihi 芯片的一个焦点,该芯片于 2017 年 9 月首次发布,并于去年 1 月与研究职员共享。
为了仿照大约 13 万个神经元和 1.3 亿个突触,Loihi 引入了脉冲韶光干系的突触可塑性模型 (STDP),这是一种通过突触前和突触后脉冲相对韶光在大脑中调节突触强度的机制。
如果一个神经元在第二个神经元之前触发,那么它与第二个神经元的连接就会增强,而如果触发顺序颠倒,连接强度就会减弱。这些突触强度的变革被认为在人类大脑的学习和影象中起着重要浸染。
卖力 Loihi 开拓的 Davies 表示,研究职员的目的是捕获人类大脑善于而当古人工智能模型不善于的快速终生学习过程。像 TrueNorth 一样,Loihi 是分布式的,供不同研究职员利用。
随着越来越多的研究团队利用这些芯片来仿照大脑,Davies 说,「希望一些更广泛的事理能够更清楚地阐明我们在大脑中看到的一些惊人能力。」
神经系统科学中的神经形态学
对付所有潜在的科学运用而言,TrueNorth 和 Loihi 并不是专门为神经科学家构建的。他们紧张是研究芯片,旨在测试和优化神经形态构造,以提高其能力和易用性,以及探索各种潜在的商业运用,从语音和手势识别到节能机器人以及可为智好手机和自动驾驶汽车供应动力的设备上机器学习模型。
另一方面,欧盟的人类大脑操持(Human Brain Project)已经开拓了两个神经形态硬件系统,其明确目标是理解大脑。
BrainScaleS 于 2016 年推出,它将许多芯片组合在大型硅晶片上,更像是超薄飞盘而不是指甲。每个晶片包含 384 个仿照芯片,它们运行起来相称于增强版的 Indiveri 的仿照芯片,是为提高速率而不是降落功耗而优化的。每个晶片上统共仿照了大约 200,000 个神经元和 49,000,000 个突触。
作为欧盟人类大脑操持的一部分,BrainScaleS 和神经形态系统 SpiNNaker 都受益于这一操持,这一操持背后有着许多理论、实验、打算神经科学家组成的大型社区。与这个社区的互动勾引着新功能的增加,这可能对科学家有所帮助,并许可从两个别系中得到的新创造快速反馈回该领域。
英国曼彻斯特大学的打算机工程师 Steve Furber 在 20 年前构想出了 SpiNNaker,他已经设计了超过 10 年。在 SpiNNaker 小型数字根本芯片上困难探索 6 年之后,Furber 说,他和他的同事们在 2011 年实现了所有功能。
自那往后,研究小组一贯在将这些芯片组装成规模更大的机器,以 2018 年末开启的拥有百万处理器的机器告终。Furber 估量 SpiNNaker 该当能够实时仿照老鼠大脑中的 1 亿个神经元——而传统超级打算机做到这一点速率要慢 1 千倍旁边。
目前,欧盟人脑操持系统免费向学术研究实验室开放。神经科学家开始在 SpiNNaker 硬件上运行他们自己的程序,以仿照大脑特定子系统的高等处理过程,如小脑、皮质或基底神经节。
例如,研究职员正在试图仿照一个小的重复构造单元——皮质微柱,该微柱位于大脑外层,卖力大多数高等功能。「微柱很小,但是它仍旧有 8 万个神经元和 2.5 亿个突触,以是建模这个微柱并不是一项小工程,」Furber 说。
接下来,他补充到,「与仅从个体大脑区域动手相反,我们开始想从系统级创建」,逐渐靠近为人类智力供应动力的含 850 亿个神经元的人脑的全尺寸模型。
仿照大脑
利用神经形态硬件对大脑进行建模可以揭示神经元打算的基本事理,达特茅斯学院的打算神经科学家 Richard Granger 说。神经科学家可以非常详细地丈量神经元的生物物理和化学特性,但是很难知道这些特性中的哪些对大脑的打算能力真的主要。虽然神经形态芯片中利用的材料与人脑的细胞物质完备不同,但利用这种新硬件的模型可以揭示大脑通报和评估信息的打算事理。
在硅中复制大略的神经电路帮助 Indiveri 创造了大脑设计的潜在效益。他曾经给一个博士生一个神经形态芯片,该芯片能够仿照脉冲频率适应,这种机制使人类习气于恒定的刺激。
由于在芯片上压缩了空间,学生决定不实现这个功能。然而,当努力降落芯片的带宽和功率哀求时,他终极得到了一些看起来与他移除的脉冲频率适应相同的东西。
Indiver 和他的同事们还创造,长间隔发送仿照旗子暗记的最佳办法不是将它们表示为连续可变的流,而是像神经元一样,将它们表示为一系列脉冲旗子暗记。「如果你想最小化能量和带宽,神经元所利用的技能被证明是传输旗子暗记的最佳技能,」Indiveri 说。
神经形态硬件也可以让研究职员测试他们关于大脑功能的理论。康奈尔大学的打算神经科学家 Thomas Cleland 建立了嗅球模型来阐明支撑我们嗅觉的事理。利用 Loihi 芯片使他能够建立足够快的硬件模型以仿照生物。
当从化学传感器(我们的气味感想熏染器的人工版本)给天命据,系统在只打仗到一个样本后就学会了识别气味,超过了传统的机器学习方法,并且更靠近人类的精良嗅觉。
「通过成功地映射类似的东西,并在神经形态芯片上显示它的事情情形,是你确实理解了这个别系的很好的证明」,Davies 说。
Cleland 的嗅觉模型并不总是像预期的那样有效,但那些「失落败」的实验同样具有启示性。传感器吸收到的气味输入有时与模型预测的结果不同,可能是由于气味比预期的更繁芜或更具噪声,或者是由于温度或湿度滋扰了传感器。
「输入信息有点不靠谱,我们知道这并不能骗过我们的鼻子,」他说。研究职员创造,通过把稳以前忽略的气味输入中的「噪声」,嗅觉系统模型可以精确地检测到更广泛的输入。研究结果使 Cleland 更新了他的嗅觉模型,研究职员现在可以不雅观察生物系统,看看它们是否利用这种以前未知的技能来识别繁芜或含有噪声的气味。
Cleland 希望扩大他的模型规模,这个模型运行在生物实时环境中,剖析来自成百乃至上千个传感器的气味数据,这些数据可能须要几天韶光才能在非神经形态硬件上运行。「只要我们能把算法放到神经形态芯片上,那么后者的可扩展性就非常好」,他说。「对我来说,最令人愉快的事情是能够运行这 16000 个传感器的数据集,看看当我们扩大模型规模时,算法会有多好。」
SpiNNaker、 TrueNorth 和 Loihi 都能以与生物相同的速率对神经元和大脑进行仿照,这意味着研究职员可以利用这些芯片识别刺激——如图像、手势或声音——当它们涌现时,立即处理和回应它们。
除了许可 Cleland 的人造鼻子处理气味之外,这些能力还可以使机器人在花费很少能源的情形下实时感知并对环境做出反应。对大多数传统打算机而言,这是一个巨大的进步。
对付某些运用,例如可能须要数周、数月乃至数年才能完成的建模学习过程,这有助于提高速率。这便是 BrainScaleS 的用武之地,它的运转速率比生物大脑快 1000-10000 倍。而且这个别系只会越来越前辈。随着与神经科学家们密切互助开拓新的处理器,它正在被升级为 BrainScaleS2。
这个新系统将能够更好地仿照学习和建模化学过程,比如多巴胺对学习的影响,这是其他神经形态系统无法复制的。研究职员说,它还能够建模各种神经元、树突和离子通道,以及构造可塑性的特色,如突触的丢失和增长。
大概有一天,这个别系乃至能够靠近人类的学习和智力。海德堡大学的生物物理学家 Johannes Schemmel 说:「我认为,理解生物智能是本世纪最大的问题。」
当前的人工智能系统在灵巧性和学习能力方面仍旧掉队于大脑。Furber 说:「谷歌的神经网络在看过一千万张猫的图片之后才善于识别出猫,但是如果你给我两岁的孙子只看一张猫的图片,他就能一辈子都认得猫了。」
随着今年晚些时候 Loihi 操持的推出,Eliasmith 希望能够为他的 Spaun 模型增加更高层次的认知和学习行为。他说他特殊愉快的是考试测验准确建模人类如何快速且随意马虎地学习一项认知任务,比如一个新的棋盘游戏。像 AlphaGo 这样著名的人工智能游戏玩家必须建模数以百万计的围棋棋局才能学会如何下好。
目前还不清楚复制人类智能是否仅仅是建立更大更详细的大脑模型的问题。「我们不知道我们理解大脑的办法是否存在某种根本性的毛病,」Eliasmith 说。「我们不知道我们能走多远,直到我们有更好的硬件能够实时运行这些具有数以亿计的神经元的模型」他说,「我认为神经形态学能帮助我们达到这个目标。」
参考文献
1. C. Eliasmith et al.,「A large-scale model of the functioning brain,」Science, 338:1202–05, 2012.
2. D.S. Modha, R. Singh,「Network architecture of the long-distance pathways in the macaque brain,」PNAS, 107:13485–90, 2010.
3. P.A. Merolla et al.「A million spiking-neuron integrated circuit with a scalable communication network and interface,」Science, 345:668–73, 2014.
4. M. Davies et al.「Loihi: A neuromorphic manycore processor with on-chip learning,」IEEE Micro, 38:82–99, 2018.
5. J. Schemmel et al.,「A wafer-scale neuromorphic hardware system for large-scale neural modeling,」Proc 2010 IEEE Int Symp Circ Sys, 2010.
6. S.B. Furber et al.,「The SpiNNaker Project,」Proc IEEE, 102:652–65, 2014.
原文链接:https://www.the-scientist.com/features/building-a-silicon-brain-65738