作为如今最成功的人工智能算法,人工神经网络,可以疏松地仿照了人脑中真实神经网络的繁芜链接。
不过与人脑的高能效比较,实在是太费电了。

于是,神经拟态打算应运而生,这种技能更贴近模拟了人脑的运作机理与物理定律。
然而,由于器件失落配难题,仿照神经元的质性会与设计略有不同,且电压和电流水平在不同的神经元之间也有差异。
比较之下,AI算法的演习则是在具有完备同等的数字神经元的打算机上完成的。
因此,实际在神经拟态芯片上运行时,常常会涌现「水土不服」的问题。
2022年1月在美国国家科学院院刊上发布的一篇论文,揭示了绕过此难题的一种路子。
论文链接:https://www.pnas.org/content/119/4/e2109194119
由瑞士弗雷德里希米歇尔生物医疗研究所的研究者弗里德曼·曾克,与德国海德堡大学的研究者约翰内斯·希密尔联合组成的团队,在脉冲神经网络这一类型的AI算法上得到新进展。
脉冲神经网络利用模拟人脑中的特色脉冲互换讯号,可以在神经拟态芯片上运行,学会如何代偿芯片中的器件失落配。
此论文是AI迈向神经拟态运算的显著一步。
仿照神经网络
与现有AI运行设备不同,神经拟态打算并不将数据在长间隔间隔的CPU与存储卡之间搬运。
神经拟态芯片设计模拟果冻般人脑的根本架构,将打算单元(神经元)置于存储单元(连接神经元的突触)阁下。
为了让设计更像人脑,研究者将神经拟态芯片结合仿照打算,如此能像真实神经元一样处理持续不断的旗子暗记。
这样产出的芯片,与现下依赖处理0与1的二元根本旗子暗记的数码打算模式和架构,有显著不同。
以人脑作为设计指南,神经拟态芯片承诺有朝一日闭幕AI等大数据量运算事情的高耗能。不幸的是,AI算法在神经拟态芯片的仿照版本上运行效果不佳。
这是由于器件失落配的毛病:在生产过程中,芯片里仿照神经元的微型组件大小涌现不匹配。
由于单个芯片不敷以运行最新的AI演习过程,算法必须在传统打算机上进行预演习。
但之后将算法转输到芯片上时,一旦遇上仿照硬件不匹配的问题,算法就两眼一抹黑了。
基于人脑设计的打算模式是仿照打算而非数码打算,这点差别奇妙而关键。
数码打算只能有效呈现人脑脉冲旗子暗记的二元性方面:脉冲旗子暗记作为一道冲过神经元的电旗子暗记,状态具有二元性,要么输出了,要么没输出,这便是0与1的差异。
不过事实上由于人脑细胞中有电压变革,当细胞内电压超过比细胞外电压高到一定程度的特定阈值,就会输出脉冲。
如此一来,脉冲是在一定时段内持续不绝地输出的,而且神经元决定输出脉冲的状态也是持续不绝的,这实在是一种仿照旗子暗记的状态。
瑞士苏黎世联邦理工学院的神经拟态工程研究者夏洛特·弗伦克尔说:「仿照态表示了人脑运算模式的核心之美。成功效仿人脑的这一关键方面,将是神经拟态运算的主驱出发分之一。」
2011年,海德堡大学的一组研究职员开始开拓一种既有仿照态又有数码态的神经拟态芯片,为神经科学实验仿照大脑。
此后,团队又发布了新一版的芯片「BrainScaleS-2」,个中每个仿照神经元都仿照了脑细胞的输入-输出电流和电压变革。
不过,由于材质的导电质性不同于真人脑,芯片在速率上要比人脑快1000倍。
在这项新的事情中,通过将芯片纳入算法的演习过程,脉冲神经网络可以学习如何纠正BrainScaleS-2芯片上的电压差别。
为了处理器件失落配的问题,团队还专门为脉冲神经网络开拓了全新的方法,将芯片用梯度替代法这种学习方法与打算机交互。
梯度替代法通过持续改变神经元之间的连接,来只管即便减少神经网络在实行任务中的缺点数量(类似于非脉冲神经网络利用的反向传播)。
梯度替代法能够在打算机上的演习过程中纠正芯片的不完善之处。
首先,让脉冲神经网络利用芯片上仿照神经元的不同电压实行一项大略的任务,并将电压的记录发回打算机。
然后,让算法自动学习如何最好地改变其神经元之间的连接,以便仍能与仿照神经元很好地合营,在学习的同时持续更新芯片上的神经元。
终极,当演习完成后,脉冲神经网络就能在芯片上顺利地实行任务了。
研究职员表示,他们的神经网络在语音和视觉任务上,达到了与在打算机上实行任务的顶级脉冲神经网络相同的准确性。
换句话说,该算法准确地理解到它须要做哪些改变来战胜器件失落配的问题。
苏塞克斯大学的打算神经科学家托马斯·诺沃特尼表示:「这个别系正如预期的那样具有令人印象深刻的能效:运行所花费的能量比标准处理器少1000倍旁边。」
然而,弗伦克尔指出,神经拟态芯片仍旧须要在为类似的语音和视觉识别任务而特殊优化的硬件面前证明自己。
诺沃特尼也指出,这种方法可能难以扩展到大型的实际任务,由于它仍旧须要在打算机和芯片之间来回搬运数据。
团队的终极目标则是让脉冲神经网络可以自始至终地在神经拟态芯片上演习和运行,而不须要借助传统打算机。
不过,设计并生产所需的新一代芯片可能要数年的韶光。
作者先容
弗里德曼·曾克
瑞士苏黎世弗雷德里希米歇尔生物医疗研究所的神经打算科学家。主研究方向为仿生的脉冲神经网络的学习、影象、信息处理过程,以及机器学习与神经打算科学的交汇。
约翰内斯·希密尔
德国海德堡大学物理学院专用集成电路实验室主任、电子视觉研究组卖力人。研究方向是稠浊态超大规模集成电路系统的信息处理运用,特殊是仿生神经网络模型的仿照运用方向。
参考资料:
https://www.quantamagazine.org/ai-overcomes-stumbling-block-on-brain-inspired-hardware-20220217/










