图｜硅光 48 通道智能发射器示意图（来源：是Alex Sludds）
目前大部分神经网络的打算都是在做事器进行。例如，当我们向 ChatGPT（或者智能家电）提出问题时，设备须要几秒钟的韶光才能做出相应。涌现这种延迟的缘故原由之一是联网设备没有足够的内存或电量来存储和运行设备理解用户哀求所需的弘大机器学习模型。该模型存储在可能位于数千公里外的数据中央，在那里打算答案并将其发送到设备。该延时虽不大，但限定了很多须要实时反馈的场景，如自动驾驶。
（来源：Science）
因此，麻省理工学院的研究团队基于集成硅光芯片，创造了一种直接在这些设备上进行打算的新方法（光学边缘打算），从而大大减少了这种延迟。他们的技能将运行机器学习模型的内存密集型步骤转移到中心做事器，在中心做事器上模型的组件被编码到光波上。利用光纤将波传输到连接的设备，这使得大量数据能够通过网络以光带宽（2.4TB/s）发送。然后吸收器利用一个大略的光学设备，该设备利用这些光波携带的模型部分快速实行打算。
与其他方法比较，该技能可将能源效率提高一百倍以上。它还可以提高安全性，由于用户的数据不须要传输到中心肠位进行打算。这种方法可以使自动驾驶汽车实时做出决策，同时仅利用耗电打算机当前所需能量的 1%。它还可以让用户与他们的智能家居设备进行无延迟对话，用于通过蜂窝网络进行实时视频处理，乃至可以在间隔地球数百万英里的航天器上实现高速图像分类。
（来源：Science）
“每次你想运行一个神经网络，你都必须调用模型，你能以多快的速率运行这个程序取决于你能以多快的速率从内存中输入模型。我们的管道很大——相称于每毫秒旁边通过互联网发送一部完全的电影。这便是数据进入我们系统的速率。而且它的打算速率也可以这么快，” MIT 团队卖力人教授德克·英格伦 (Dirk Englund) 说。
边缘打算（edge computing）是近年来人工智能芯片领域的热门方向之一。这种运算模式把神经网络运行在智能终端处理器比如智好手机、自动驾驶汽车上，通过实现去中央化打算，可以大大增加用户信息的安全性，同时减少数据中央的打算量，缩小数据处理的延时等。
谷歌推出的特种处理器芯片 Edge TPU、以及 NVIDIA 的 EDX 芯片等都是面向上述运用。然而，当电学芯片运算大规模权重矩阵时，其能量损耗和打算速率已经达到瓶颈，这影响了智能边缘设备的续航韶光并会导致打算延时，进而增加智能终真个体积，重量和功率。本文中，麻省理工团队的光学做事器-客户端架构紧张实现了：
（1）一个硅光集成芯片为根本的“智能发射器”（smart transceiver）用于电-光转换，通过波分复用把权重数据传输，用光纤传到毫瓦级别的终端处理器，个中的数据传送光学带宽达到 2.4THz（48 通道，50GHz 每通道）。（2）他们把 AI 模型从 MIT 校园传送到林肯实验室（86 公里）的终端做打算。（3）该架构实现了 99% 的图像识别准确度。通过采取低廉甜头的光电积分器，乘法器的每次乘法运算低于一个光子数。
图｜MIT 光学 AI 团队成员（来源：作者）
近日，干系论文以《在互联网边缘的单域光子深度学习》（Delocalized photonic deep learning on the internet's edge）为题发在 Science 上 [1]。
亚历克斯·斯拉德斯是第一作者兼共同通讯，瑞安·哈默利和 MIT 德克·英格伦（Dirk Englund）教授担当共同通讯作者，陈在俊为共同作者。
图 | 干系论文（来源：Science）
本次课题始于 2019 年。陈在俊说：“Netcast 是针对边缘运算提出的光学办理方法，它能供应实时运算并减少能量负荷，可被用于边缘运算的各个场景，包括智能传感、蜂窝网络通信、航空航天、智能家居等。实验过程中有几个标志性的 milestones。”
第一步，通过采取硅光芯片实现了高精确率的 16 波长的光学数据传输、以及浮点数值乘法器，该打算精度在仿照打算里相对较高，可以知足险些所有 AI 算法的需求。
第二步，他们把智能网络通过光纤进行长间隔（86 千米）传输到林肯实验室，并保持同样的打算精度。第三步，该团队采取单光子计数器，在实验里实现了均匀低于一个光子数的乘法器。
另据悉，该项目得到进一步帮助，目前 MIT Englund 组和南加州大学陈在俊课题组正互助研发下一代高度集成的边缘打算芯片。
参考资料：
1.Sludds, A., Bandyopadhyay, S., Chen, Z., Zhong, Z., Cochrane, J., Bernstein, L., ... & Englund, D. (2022). Delocalized photonic deep learning on the internet』s edge.Science, 378(6617), 270-276.
