图 | 白手是电脑生产动作,病人试图用脑机随着做一样的动作(来源:受访者)
这不是大略的机器手,而是深度学习和机器臂硬件的结合。近年来,深度学习在剖析、阐明和解码生物医学数据方面的运用正在稳步发展。在迅速发展的脑机接口和神经假体领域,基于深度学习的神经解码器已成为创造下一代机动、易操作的神经假体的最被看好的方法。
图 |(来源:受访者)
大略来说,神经解码器便是一种能够识别大脑神经活动的人造装置。对付因神经系统受损而无法正常掌握肢体的人来说,它可以解码大脑活动,通报大脑向肢体发出的掌握指令,从而实现对配套神经假肢的操控。
比较普通假肢,神经假肢可以由 “意念” 掌握,也便是直接接管大脑发出的指令,显然更加灵巧且符合人类的直觉。
随着人工智能和深度学习技能的发展,科学家开始考试测验将其运用在各个领域,假肢掌握也不例外,以主流 CNN 和 RNN 等神经网络为根本的算法都能用来驱动神经解码器。
图 |(来源:受访者)
不过,高性能深度学习模型对硬件的运算能力提出了很高的哀求,而且常日依赖 GPU 以支撑其大规模的并走运算。这不仅对缩小硬件尺寸和降落功耗提出了寻衅,更是限定了假肢及其神经解码系统的便携性和易用性,使其难以运用在临床上。
为理解决这一问题,美国明尼苏达大学杨知教授的研究团队开拓出本次便携式独立神经假肢系统,紧张部件包括基于深度学习的神经解码器,英伟达 Jetson 边缘打算套件,Neuronix 神经接口微芯片,连接神经纤维的束内微电极阵列,定制的 PCB 电路板和 i-Limb 机器手。
图 | 机器手的实际佩戴效果(来源:受访者)
多年成果融为一体
除了英伟达 Jetson 套件,电极阵列和机器手部分组件,剩下的成果或是最新努力,或是研究团队成员此前完成的成果,一步步积累和领悟成了本日的样子。研究成果以预印本的形式揭橥于 Arxiv 上。
Scorpius 系统由 Neuronix 神经芯片,电极连接器,稳压器和 Microsemi 的现场可编程门阵列(FPGA)等组件构成。每套系统包含八个记录信道,并且配有频率整形放大器和高精度模数转换器,可以捕捉极其微弱的神经旗子暗记并打消滋扰旗子暗记。如果须要更多的通道数量,还可以支配多个设备。
图 | 团队所开拓的神经芯片组(来源:受访者)
终极,组合而成的机器手可以套在残臂上,参与测试的残障人士成功实现了用意念掌握机器手指,做出握拳、拿捏、指向、摇滚等手势,系统也可以准确识别其掌握的是哪根手指。
此外,给正凡人的小臂植入电极后,机器手也可以捕捉神经掌握旗子暗记,实现隔空遥控。
“据我们所知,这是最前辈的、通过将基于深度学习的神经解码器和便携式打算平台结合,从而实现神经假肢。” 研究职员在论文中表示。
为了实现对机器手的操控,研究职员必须先捕获并解码大脑通报出的神经旗子暗记。
杨知见告 DeepTech,将深度学习和硬件结合,并将其运用于疾病治疗,是本次成果的亮点。其紧张涉及的技能是神经解码,这在古代叫做 “读心术”,即搞清楚一个人的内心想法。人类的思考和行动是基于大量的神经活动。这些活动会在体内留下痕迹,比如产生微弱的电旗子暗记。这时就可用到深度学习的上风,其优点在于可根据大量的电旗子暗记,来产生类似黑盒子的打算模型,从而映射出旗子暗记和结果之间的关系。
硬件方面,他们利用了一套名为 Scorpius(天蝎座)的神经接口系统,是论文作者 Anh Tuan Nguyen 和 Jian Xu 等人在 2020 年揭橥的研究成果。
图 | 机器手原型机和各组成部分(来源:受访者)
该系统随后会将捕捉到的原始神经数据实时传输给 Jetson Nano 套件。
Jetson 平台是英伟达专为边缘打算开拓的 AI 平台,个中的 Nano 系列套件自带 Tegra X1 片上系统(SoC),配有 ARM A57 四核 CPU 和 128 核英伟达 Maxwell GPU。
经由研究职员的定制,该套件可以运行经由演习的深度学习模型,卖力将神经旗子暗记实时翻译成对应的大脑指令,例如要掌握哪根手指,做出什么样的动作。它能在 10W 和 5W 功率模式下分别运行 2 小时和 4 小时。
机器手本身利用了 Össur 公司的 i-Limb 产品,不过原装驱动被研究职员更换成了自己开拓的手部掌握单元,可以直接吸收深度学习模型发出的指令并操控手指内的电机。
图 | 三个数据处理线程(A)与深度学习电机解码器架构(B)(来源:受访者)
在数据处理方面,研究职员用 Python 实现了三个线程,分别用于数据获取、数据预处理和电机解码。
数据获取线程卖力从两个或更多的 Scorpius 设备上获取数,并且将它们与对应的信道对齐。对齐后的神经数据会被输入预处理线程,经由过滤和降采样后,再提取个中包含的特色。
图 | (来源:受访者)
研究职员一共定义了 14 种特色函数,提取出的特色数据会被放入 LIFO(后进先出)序列中,所有数据都会被实时传输到电机解码线程中。处理不了或来不及处理的神经数据会被直接丢弃,以确保解码线程能够始终吸收到最新的数据。
在电机解码的过程中,会基于最新的特色数据进行深度学习推理,利用的深度学习模型是 RNN 架构,每个模型包含 160 万个参数。
该设备最多支持同时支配五个模型,每个卖力一根或更多根手指动作的解码。在实验中,所有模型都有一样的架构,但利用了不同的数据集进行演习,实现了对特定手指及其动作的优化。
终极的解码结果会输出得手部掌握器上,驱动手指上的电机实行相应的指令。
手势识别准确率超 95%
在实际测试中,研究团队分别对残障人士和正凡人进行了测试。杨知见告 DeepTech,本次论文中展示的受试者,在 14 年前的一次事件中,失落去了左手大拇指以外的四个手指,接下来的 8 年中他忍受着长期的神经痛,夜里常常会被痛醒,直到把全体左小臂截肢,疼痛才得到缓解。3 年前,他加入本次研究小组的测试项目,杨知评价他 “又无私又年夜胆”。
植入设备后,他可以自由掌握义肢,包括其各个手指,同时可对义肢产生感知,就彷佛变成了身体的一部分。。
这位受试者见告杨知:“这个技能如果变成产品,就会有很多维妙维肖的功能,能让他做各种不同的日常事情,就彷佛利用自己另一只无缺的手一样。”
图 | 针对残障人(A 和 B)和健全人(C 和 D)的实验(来源:受访者)
结果现实,在只利用一个模型的情形下,10W 功率配置的机器手延迟不到 50ms,随着模型支配数量提升,延迟最多增加到 120ms 旁边 —— 这个程度的延迟是可以感想熏染到的,但对手指的可控程度和灵巧性不会有太大影响。
如果降落到 5W 功率,其最大延迟会增加约一倍至 220ms 旁边,考虑到设备的尺寸、功耗和本钱,这个相应速率也是可以接管的。
在识别准确率方面,深度学习模型的准确率可以稳定在 95%-99% 之间,个中识别健全人五指活动的准确率均超过 97%,而识别残障人士五指活动的准确率也超过 95%,表现亮眼。
图 | 手势识别准确率:健全人(红)残障人(绿)(来源:受访者)
“我们创造残障人士的食指识别准确率偏低,这是由较低的神经旗子暗记噪声比导致的,” 研究职员表示,“在实际操作中,我们可以引入更多的演习或者演习一个模型专门掌握食指。”
为了测试机器手在日常生活中的表现,研究团队让一名残障人士在多个场景下操作该设备。结果显示它的表现并未受到 Wi-Fi、手机和电子设备的滋扰,可以持续稳定的事情。
图 | 在实际运用处景中测试机器手(来源:受访者)
“我以为如果这个设备经由更好地调试,以一个消费级产品问世时,它将会具备更多的功能,能(让我)在未经思考的情形下完成许多日常操作,” 测试者表示,“当我想够到和拿起东西的时候,我也不须要刻意地去操作它,就像我的真手一样。我相信它能实现这一点。”
当然,目前的模型还存在一些不敷,在判断一些手势时随意马虎稠浊,比如握拳 VS 竖起大拇指。
未来,研究团队操持进一步优化软件和完善硬件,包括优化神经网络模型,采取真正的多线程来避开 Python 的全局阐明器锁,强化 Jetson 的深度学习推理能力,采取在线电机解码优化等等,从而在便携的根本上实现更低延迟、更高精度的实时掌握。
未来投入运用后,病人利用就像配眼镜一样,验光之后配置度数得当的镜片和镜架。同样,给病人配置得当的机器臂和神经解码器,也是一样的思路。
目前,团队已成立公司对该设备进行成果转化,首先将用于治疗残疾人的疼痛。杨知表示,该神经解码技能已帮助参与实验的受试者们,减轻或治愈他(她)们的疼痛。
用患者的话说,”有了这个别系,我们可以看到我的痛楚是可以量化的,并且可以做些什么……这是对生活的巨大改进……它险些无可估量地改进了我的生活质量,达1000%。” 杨知还表示神经解码技能还可以用于治疗更多的疾病。一旦通过美国FDA和中国干系审批,该技能将产生一个新的医疗东西市场,涵盖很多现在不能被药物和手术治愈的疾病。