首页 » 互联网 » 新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作

新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作

admin 2025-01-04 05:31:06 0

扫一扫用手机浏览

文章目录 [+]

内容简介

心血管疾病是当今老龄化社会中导致去世亡的紧张缘故原由,心电图(Electrocardiogram, ECG)监测是心血管疾病诊断的主流手段,个中可穿着电子产品因其轻便、舒适、可长期利用而备受关注。

新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作 新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作 互联网

本研究开拓了一种可穿着多导联心电传感设备,并匹配可拉伸自粘附的导电银涂层纤维/硅胶干电极。
通过湿法抄造方法主动掌握纤维密度和稠浊比,优化与猪皮的切向和法向粘附力,构建稳定打仗的电极-皮肤界面,在连续贴合24小时后无致敏性,可重复利用/洗濯100次而不失落去附着力。
通过力/电打仗理论等手段对其动态演化机制进行探索创造,封装在有机硅弹性体中的导电纤维在重复拉伸和波折变形下彼此重叠形成三维网络,在高频振动下能够实现较小的固有阻抗和打仗阻抗变革。
将多导联心电设备的硬/软模块集成在轻质服装中,并配有无线传输以实现旗子暗记可视化,通过同步采集I-III、aVR、aVL、aVF、V4导联数据,适用于运动、安歇、就寝等多种运用处景,并表现出极高的信噪比。

新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作 新闻速递|用于可穿戴多导联心电传感设备可拉伸高透气皮肤干电极_机械人_操作 互联网
(图片来自网络侵删)

引用本文

Xie Y, Lu L, Wang W, et al., 2024. Wearable multilead ECG sensing systems using on-skin stretchable and breathable dry adhesives. Bio-des Manuf (Early Access). https://doi.org/10.1007/s42242-023-00268-w

文章导读

图1 可穿着多导联心电传感设备的组成

图2 (a) ECG干电极的轻量、超薄和柔韧特性;(b) 将干电极粘附在手上;(c) 折叠成飞机状和被热气流穿透;(d) ECG干电极的光学图像;(e) 扫描电镜图像,放大后的视图显示节点由硅弹性体连接;(f) 周期性微孔和导电纤维的微不雅观构造;(g) 元素映射结果

图3 (a-c) 动态频率下阻抗稳定性测尝尝验装置;(d, e) 3M凝胶、纯导电纤维和导电纤维/硅胶电极在0.01 ~ 100 Hz频率范围内的本征相和阻抗;(f, g) 打仗相和阻抗;(h) 将3个电极贴在重量为10 g的猪皮上的 (i) 打仗阻抗变革和(j) 动态振动阻抗;(k) 水分蒸发实验;(l) 24小时致敏测试;(m) 120h内水蒸气渗透率

图4 (a) 系统硬件设计。
心电旗子暗记通过微信程序显示,并上传到云做事器存储;(b) 可穿着心电设备示意图;(c) 电路板的弹簧脚和打仗器示意图;(d) 电路布局示意图

图5 志愿者佩戴多导联心电仪在 (a、b) 坐下、(c、d) 站立、(e、f) 深蹲、(g、h) 平躺和 (i,j) 在地面、斜坡、楼梯上行走时记录的I、II、V4导联心电旗子暗记;(k) 3M凝胶、纯导电纤维和导电纤维/硅胶电极的P、Q、R、S、T波形比拟

参考文献

1. Attia ZI, Kapa S, Lopez-Jimenez F et al (2019) Screening for cardiac contractile dysfunction using an artificial intelligence-enabled electrocardiogram. Nat Med 25:70–74. https://doi.org/10.1038/s41591-018-0240-2

2. Hannun AY, Rajpurkar P, Haghpanahi M et al (2019) Cardiologist-level arrhythmia detection and classification in ambulatory electrocardiograms using a deep neural network. Nat Med 25:65–69. https://doi.org/10.1038/s41591-018-0268-3

3. Takaya M, Matsuda R, Inamori G et al (2021) Transformable electrocardiograph using robust liquid–solid heteroconnector. ACS Sens 6(1):212–219. https://doi.org/10.1021/acssensors.0c02135

4. Masihi S, Panahi M, Maddipatla D et al (2021) Development of a flexible wireless ECG monitoring device with dry fabric electrodes for wearable applications. IEEE Sens J 22(12):11223–11232. https://doi.org/10.1109/JSEN.2021.3116215

5. Yang J, Zhang K, Yu JJ et al (2021) Facile fabrication of robust and reusable PDMS supported graphene dry electrodes for wearable electrocardiogram monitoring. Adv Mater Technol 6(9):2100262. https://doi.org/10.1002/admt.202100262

6. Maithani Y, Choudhuri B, Mehta BR et al (2021) Self-adhesive, stretchable, and dry silver nanorods embedded polydimethylsiloxane biopotential electrodes for electrocardiography. Sens Actuat A Phys 332:113068. https://doi.org/10.1016/j.sna.2021.113068

7. Niu X, Wang LZ, Li H et al (2022) Fructus xanthii-inspired low dynamic noise dry bioelectrodes for surface monitoring of ECG. ACS Appl Mater Interfaces 14(4):6028–6038. https://doi.org/10.1021/acsami.1c22303

8. Kota D, Tasneem N, Kakaraparty K et al (2022) A low-power dry electrode-based ECG signal acquisition with de-noising and feature extraction. J Signal Process Syst 94(6):579–593. https://doi.org/10.1007/s11265-021-01681-z

9. Lazaro J, Reljin N, Hossain MB et al (2020) Wearable armband device for daily life electrocardiogram monitoring. IEEE Trans Biomed Eng 67(12):3464–3473. https://doi.org/10.1109/TBME.2020.2987759

10. Maji S, Burke MJ (2020) Establishing the input impedance requirements of ECG recording amplifiers. IEEE Trans Instrum Meas 69(3):825–835. https://doi.org/10.1109/TIM.2019.2907038

11. Hoseini Z, Nazari M, Lee KS (2021) Current feedback instrumentation amplifier with built-in differential electrode offset cancellation loop for ECG/EEG sensing frontend. IEEE Trans Instrum Meas 70:2001911. https://doi.org/10.1109/TIM.2020.3031205

12. Kim HL, Kim MG, Lee C et al (2012) Miniaturized one-point detectable electrocardiography sensor for portable physiological monitoring systems. IEEE Sens J 12(7):2423–2424. https://doi.org/10.1109/JSEN.2012.2192260

13. Yeo WH, Kim YS, Lee J et al (2013) Multifunctional epidermal electronics printed directly onto the skin. Adv Mater 25(20):2773–2778. https://doi.org/10.1002/adma.201204426

14. Wang YY, Jiang LL, Ren L et al (2021) Towards improving the quality of electrophysiological signal recordings by using microneedle electrode arrays. IEEE Trans Biomed Eng 68(11):3327–3335. https://doi.org/10.1109/TBME.2021.3070541

15. Koo JH, Jeong S, Shim HJ et al (2017) Wearable electrocardiogram monitor using carbon nanotube electronics and color-tunable organic light-emitting diodes. ACS Nano 11(10):10032–10041. https://doi.org/10.1021/acsnano.7b04292

16. Zeng ZK, Huang Z, Leng KM et al (2020) Nonintrusive monitoring of mental fatigue status using epidermal electronic systems and machine-learning algorithms. ACS Sens 5(5):1305–1313. https://doi.org/10.1021/acssensors.9b02451

17. Zhang SP, Chhetry A, Zahed MA et al (2022) On-skin ultrathin and stretchable multifunctional sensor for smart healthcare wearables. npj Flex Electron 6(1):11. https://doi.org/10.1038/s41528-022-00140-4

18. Sun B, McCay RN, Goswami S et al (2018) Gas-permeable, multifunctional on-skin electronics based on laser-induced porous graphene and sugar-templated elastomer sponges. Adv Mater 30(50):e1804327. https://doi.org/10.1002/adma.201804327

19. Uguz DU, Canbaz ZT, Antink CH et al (2022) A novel sensor design for amplitude modulated measurement of capacitive ECG. IEEE Trans Instrum Meas 71:4000710. https://doi.org/10.1109/TIM.2022.3145401

20. Jiang Z, Nayeem MOG, Fukuda K et al (2019) Highly stretchable metallic nanowire networks reinforced by the underlying randomly distributed elastic polymer nanofibers via interfacial adhesion improvement. Adv Mater 31(37):e1903446. https://doi.org/10.1002/adma.201903446

21. Vuorinen T, Noponen K, Vehkaoja A et al (2019) Validation of printed, skin-mounted multilead electrode for ECG measurements. Adv Mater Technol 4(9):1900246. https://doi.org/10.1002/admt.201900246

22. Hong YJ, Jeong H, Cho KW et al (2019) Wearable and implantable devices for cardiovascular healthcare: from monitoring to therapy based on flexible and stretchable electronics. Adv Funct Mater 29(19):1808247. https://doi.org/10.1002/adfm.201808247

23. Shiba Y, Fernandes S, Zhu WZ et al (2012) Human ES-cell-derived cardiomyocytes electrically couple and suppress arrhythmias in injured hearts. Nature 489(7415):322–325. https://doi.org/10.1038/nature11317

24. Khoshmanesh F, Thurgood P, Pirogova E et al (2021) Wearable sensors: at the frontier of personalised health monitoring, smart prosthetics and assistive technologies. Biosens Bioelectron 176:112946. https://doi.org/10.1016/j.bios.2020.112946

25. Bauer M, Wunderlich L, Weinzierl F et al (2021) Electrochemical multi-analyte point-of-care perspiration sensors using on-chip three-dimensional graphene electrodes. Anal Bioanal Chem 413(3):763–777. https://doi.org/10.1007/s00216-020-02939-4

26. Jiang YZ, Liu LL, Chen L et al (2021) Flexible and stretchable dry active electrodes with PDMS and silver flakes for bio-potentials sensing systems. IEEE Sens J 21(10):12255–12268. https://doi.org/10.1109/JSEN.2021.3061949

27. Afroj S, Tan S, Abdelkader AM et al (2020) Highly conductive, scalable, and machine washable graphene-based e-textiles for multifunctional wearable electronic applications. Adv Funct Mater 30(23):2000293. https://doi.org/10.1002/adfm.202000293

28. Kim T, Park J, Sohn J et al (2016) Bioinspired, highly stretchable, and conductive dry adhesives based on 1D–2D hybrid carbon nanocomposites for all-in-one ECG electrodes. ACS Nano 10(4):4770–4778. https://doi.org/10.1021/acsnano.6b01355

29. Kim JH, Kim SR, Kil HJ et al (2018) Highly conformable, transparent electrodes for epidermal electronics. Nano Lett 18(7):4531–4540. https://doi.org/10.1021/acs.nanolett.8b01743

30. Article ADS CAS PubMed Google Scholar Chun S, Kim DW, Baik S et al (2018) Conductive and stretchable adhesive electronics with miniaturized octopus-like suckers against dry/wet skin for biosignal monitoring. Adv Funct Mater 28(52):1805224. https://doi.org/10.1002/adfm.201805224

31. Guo W, Zheng P, Huang X et al (2019) Matrix-independent highly conductive composites for electrodes and interconnects in stretchable electronics. ACS Appl Mater Interfaces 11(8):8567–8575. https://doi.org/10.1021/acsami.8b21836

32. Jung H, Moon J, Baek D et al (2012) CNT/PDMS composite flexible dry electrodes for long-term ECG monitoring. IEEE Trans Biomed Eng 59(5):1472–1479. https://doi.org/10.1109/TBME.2012.2190288

33. Qin Q, Li JQ, Yao SS et al (2019) Electrocardiogram of a silver nanowire based dry electrode: quantitative comparison with the standard Ag/AgCl gel electrode. IEEE Access 7:20789–20800. https://doi.org/10.1109/ACCESS.2019.2897590

34. Wang WT, Lu LS, Lu XY et al (2022) Laser-induced jigsaw-like graphene structure inspired by Oxalis corniculata Linn. leaf. Bio-Des Manuf 5(4):700–713. https://doi.org/10.1007/s42242-022-00197-0

35. Liu CY, Zhang XY, Zhao LN et al (2019) Signal quality assessment and lightweight QRS detection for wearable ECG smartvest system. IEEE Internet Things J 6(2):1363–1374. https://doi.org/10.1109/JIOT.2018.2844090

36. Fink PL, Muhammad Sayem AS, Teay SH et al (2021) Development and wearer trial of ECG-garment with textile-based dry electrodes. Sens Actuat A Phys 328:112784. https://doi.org/10.1016/j.sna.2021.112784

37. Liu L, Li HY, Fan YJ et al (2019) Nanofiber-reinforced silver nanowires network as a robust, ultrathin, and conformable epidermal electrode for ambulatory monitoring of physiological signals. Small 15(22):e1900755. https://doi.org/10.1002/smll.201900755

38. Xu XW, Luo M, He P et al (2019) Screen printed graphene electrodes on textile for wearable electrocardiogram monitoring. Appl Phys A Mater Sci Process 125(10):714. https://doi.org/10.1007/s00339-019-3006-x

39. Wicaksono I, Tucker CI, Sun T et al (2020) A tailored, electronic textile conformable suit for large-scale spatiotemporal physiological sensing in vivo. npj Flex Electron 4(1):5. https://doi.org/10.1038/s41528-020-0068-y

40. Yokus MA, Jur JS (2016) Fabric-based wearable dry electrodes for body surface biopotential recording. IEEE Trans Biomed Eng 63(2):423–430. https://doi.org/10.1109/TBME.2015.2462312

41. Wang WT, Lu LS, Li ZH et al (2021) Fingerprint-inspired strain sensor with balanced sensitivity and strain range using laser-induced graphene. ACS Appl Mater Interfaces 14(1):1315–1325. https://doi.org/10.1021/acsami.1c16646

42. Feng B, Jiang X, Zou GS et al (2021) Nacre-inspired, liquid metal-based ultrasensitive electronic skin by spatially regulated cracking strategy. Adv Funct Mater 31(29):2102359. https://doi.org/10.1002/adfm.202102359

43. Peng S, Xu K, Chen W (2019) Comparison of active electrode materials for non-contact ECG measurement. Sensors 19(16):3585. https://doi.org/10.3390/s19163585

44. Peng S, Xu K, Bao SJ et al (2021) Flexible electrodes-based smart mattress for monitoring physiological signals of heart and autonomic nerves in a non-contact way. IEEE Sens J 21(1):6–15. https://doi.org/10.1109/JSEN.2020.3012697

45. Lee SM, Byeon HJ, Lee JH et al (2014) Self-adhesive epidermal carbon nanotube electronics for tether-free long-term continuous recording of biosignals. Sci Rep 4(1):6074. https://doi.org/10.1038/srep06074

46. Pullano SA, Kota VD, Kakaraparty K et al (2022) Optically unobtrusive zeolite-based dry electrodes for wearable ECG monitoring. IEEE Sens J 22(11):10630–10639. https://doi.org/10.1109/JSEN.2022.3169504

47. Tasneem NT, Pullano SA, Critello CD et al (2020) A low-power on-chip ECG monitoring system based on MWCNT/PDMS dry electrodes. IEEE Sens J 20(21):12799–12806. https://doi.org/10.1109/JSEN.2020.3001209

48. Meng Y, Li ZB, Chen JP (2016) A flexible dry electrode based on APTES-anchored PDMS substrate for portable ECG acquisition system. Microsyst Technol 22(8):2027–2034. https://doi.org/10.1007/s00542-015-2490-y

49. Wang LF, Liu JQ, Yang B et al (2015) Fabrication and characterization of a dry electrode integrated Gecko-inspired dry adhesive medical patch for long-term ECG measurement. Microsyst Technol 21(5):1093–1100. https://doi.org/10.1007/s00542-014-2279-4

文章来源: 生物设计与制造

2、加拿大的Sanctuary AI发布全新人形机器人Phoenix

加拿大的Sanctuary AI近期发布了一款全新的人形机器人Phoenix,这款机器人具有人形外不雅观,是一种通用型工业机器人,为广泛的事情场景设计。
Phoenix 利用各种内置传感器、打算办法和意图驱动的软件系统将广角视觉、物体识别和智能抓握等功能整合在一起,使其具有类人的操作水平。

视频加载中...

Phoenix 机器人作为一款具有多种特点的人形通用工业机器人,以下是其一些紧张特点:

1. 人形设计:Phoenix 的外不雅观和构造类似于人类,采取类人的手臂和手指等布局,以实现更自然的互动和操作。

2. 多功能性:作为通用工业机器人,Phoenix 旨在适应各种任务和环境,特殊是那些须要类人操作水平的领域,如医疗、教诲、制造和餐饮等。

3. 高等智能:Phoenix 集成了广角视觉、物体识别和智能抓握等功能,利用内置传感器和意图驱动的软件系统实现多种任务。

4. 可扩展性:Sanctuary AI 寻求与互助伙伴共同推进 Phoenix 的商业化实现,以便让这款机器人适应不同场景和运用。

5. 无缝协作:Phoenix 机器人致力于与人类在各个领域实现无缝协作,为各种任务供应支持。

Phoenix 旨在成为一种用于日常环境的可扩展办理方案,以完成在医疗、教诲、制造和餐饮等领域的各种任务。
Sanctuary AI 正在探求互助伙伴来共同推进 Phoenix 的商业化实现,以实现机器人和人类在广泛领域的无缝协作。

该公司的愿景是在未来几年里,在实现技能标准的根本上,使人形机器人广泛地投入实际生产和商业运用。

文章来源:新浪网

3、基于具身智能的移动操作机器人系统发展研究

本文选自中国工程院院刊《中国工程科学》2024年第1期

作者:兰沣卜,赵文博,朱凯,张涛

来源:基于具身智能的移动操作机器人系统发展研究[J].中国工程科学,2024,26(1):139-148.

编者按

具身智能是新一轮科技革命与家当变革中的计策性技能,是当前世界各国重点竞争的前沿高地之一;移动操作机器人系统因其精良的运动、方案、实行能力成为具身技能首选的硬件载体;基于具身智能的移动操作机器人系统作为实现跨领域、多场景、多功能的自主具身智能平台,将成为引领未来新一代信息技能和人工智能发展的关键。

中国工程院院刊《中国工程科学》2024年第1期刊发清华大学张涛教授研究团队的《基于具身智能的移动操作机器人系统发展研究》一文。
文章从基于具身智能的移动操作机器人系统发展的需求出发,总结基于具身智能的移动操作机器人系统的发展现状,剖析该领域发展面临的问题和寻衅,提出共性关键技能和对策建议,以期助力具身智能发展浪潮下我国移动操作机器人领域的长足发展。

一、序言

人工智能(AI)是引领新一轮科技革命与家当变革的计策性技能之一,对助力我国当代化家当体系培植、推动计策性新兴家当领悟集群发展、赋能各行各业发展具有主要意义。
随着通用AI技能的加速打破,技能根本踏实且可多场景适用的移动操作机器人作为具身智能的优质载体,在环球科技界与家当界掀起了新一轮的研究浪潮,成为新一轮科技革命中的前沿技能高地之一。

基于具身智能的移动操作机器人系统(简称“具身智能移动操作机器人”)旨在构建具备自主环境感知、充分理解认知、流畅人机交互、可靠智能决策与自然运动操作方案的机器人系统,依托跨领域、多场景、多功能的自主具身智能平台,为传统移动操作机器人升级赋能,引领未来移动操作机器人的行业发展。
在具备可感知、理解与决策的类脑构造后,移动操作机器人能够自主理解并完成人类下达的高等指令,实现真正的通用智能。

与传统移动机器人比较,具身智能移动操作机器人能够完成一些常日须要人类聪慧才能完成的繁芜事情,随着其技能不断发展与成熟,必将给人类社会带来革命性的变革。
具身智能移动操作机器人在做事、餐饮、医疗、智能家居、无人配送等民用领域,智能工厂、智能制造等工业领域以及单兵作战等军事领域,都拥有广阔的运用前景。
目前,国内外对付具身智能移动操作机器人的研发大多仍处于实验室测试阶段,针对特定场景、特界说务的具身智能移动操作机器人虽然有了较大的发展,但整体技能并不成熟,尚未实现家当化与商品化。
学术界对付移动操作机器人的研究紧张环绕环境感知、运动掌握、路径方案、车臂协同等方面展开,对具身智能技能和移动操作机器人技能的研究处于平行发展阶段。
文章从具身智能移动操作机器人发展的需求出发,厘清具身智能移动操作机器人的发展现状,剖析面临的寻衅,总结干系关键技能,并提出发展建议,以期为具身智能移动操作机器人研究供应参考。

二、基于具身智能的移动操作机器人系统发展现状

移动操作机器人泛指具备移动与抓取操作能力的机器人,基本构造由移动基座、机器臂、操作末端共同组成,进而发展出类人构造。
移动操作机器人拥有形态上风和移动操作能力,是最靠近人类形态的机器人构型,是具身智能最空想的硬件载体。
移动操作机器人技能发展历史悠久,经由长足发展,已形成相对成熟的技能体系。
具身智能作为通用AI技能的主要实现手段,近年来正在不断取得全新打破,具身智能移动操作机器人呈现出广阔的运用前景。

(一)移动操作机器人

移动操作机器人须要在未知环境中完成感知、导航与掌握等任务,紧张由移动底盘、机器臂和操作末端三部分组成,核心技能包括感知、导航与掌握技能,机动操作掌握技能等。
移动操作机器人技能的发展使机器人能够更精确、快速、稳定地利用多模态数据来感知周围环境,进行更高效的运动掌握和路径方案。
随着深度学习技能的发展和运用,基于深度学习和强化学习的机器人掌握技能、多模态感知技能将得到进一步发展,推动移动操作机器人的感知、方案、掌握能力进一步提升。

移动操作机器人在感知、导航与掌握技能方面的发展现状如下。
① 在感知技能层面,移动操作机器人依赖传感器来感知外部的物理天下,通过装置相机、雷达、超声波、红外等感知传感器以及惯性丈量单元、编码器等传感器来确定自身位置姿态和运动状态。
通过多传感器领悟技能,移动机器人可以利用多源感知数据来提高自身感知的精度和鲁棒性,实现对环境的高精度实时感知。
此外,感知层还须要完成对未知环境的建图任务。
定位与建图技能用于办理移动机器人在真实物理天下中的环境重修和自身定位问题,是移动机器人的关键技能之一。
目前,定位与建图技能研究常日采取激光测距仪、打算机视觉两类方法:前者构建的点云舆图精度较高,算法相对大略,在光照不敷、明暗变革大的环境下鲁棒性强,但是难以展现较好的环境细节信息;后者得到的视觉图像包含更加丰富的环境特色信息,使机器人能够在更大范围内完成任务,但是算法设计繁芜,对光照等条件哀求比较苛刻。
② 在导航技能层面,移动操作机器人根据目标点和感知舆图,实时天生离散航路点序列或连续期望轨迹的算法。
移动操作机器人导航技能紧张包括全局路径方案、局部避碰与避障等技能。
移动操作机器人导航任务紧张包括以舆图的形式天生天下模型,打算从起始位置到目标位置的无碰撞轨迹,沿着打算的轨迹移动,避免与障碍物碰撞。
③ 在掌握技能层面,移动操作机器人不仅须要具备移动机器人的感知、定位与导航运动能力,还须要具备精确掌握移动机器人抵达预期航路点的能力。
目前,机器人掌握技能相对成熟,通过对机器人建立运动学和动力学模型,采取基于全局线性化的掌握、基于近似线性化的掌握、基于李雅普诺夫理论的掌握等方法,实现较为稳定的掌握。
经典的机器人掌握策略有打算力矩掌握、鲁棒掌握、滑模掌握、自适应掌握、神经网络掌握、模糊逻辑掌握、自抗扰掌握与柔性掌握。

在机动操作掌握技能方面,传统机器人的操作末端常日为夹爪或夹手,缺少机动性与机动性;移动操作机器人将具备更加机动通用的操作末端,如类手构造、柔顺捕获构造等,以提升末端抓取的通用性,拥有任意物体抓取、工具利用、柔性物体操作等高等技能,进而可以在工业环境中完成装置、焊接、搬运等任务以及在家庭场景中完成厨具利用、家庭清洁等事情。
除此之外,打算机视觉技能可以帮助移动操作机器人与周围环境进行互动,增强其智能化和自主性,使其像人一样感知、理解和相应环境,对提升机器人视觉跟踪、物体识别、移动抓取、人机交互等能力都有主要意义。
机器臂掌握技能和机动操作技能助力移动操作机器人完成高精度、高性能的繁芜任务。
移动操作机器人可以通过相机等视觉传感器、压敏阵列等触觉提升智能操作、机动操作和交互操作能力。
受限于硬件资源与事情场景,移动操作机器人紧张通过图像数据强化其操作能力,利用打算机视觉技能输入相机等传感器的图像像素并转换为环境中物体的种别、位置、姿态、速率以及人类的面部表情、手势等详细信息,利用打算机算法和机器学习算法对数字图像进行剖析、处理、识别和理解,进而实现智能化运用。

得益于其感知、移动、抓取和机动操作等能力的提升,移动操作机器人在民用和军用等领域均拥有广阔的运用前景和运用代价。
① 在民用领域,移动操作机器人在聪慧医疗、智能工厂、交通物流、实验室助手、家居做事、餐饮做事、住宿做事等行业呈现出多种落地产品,为聪慧社会构建供应了强大推力。
在医疗方面,移动操作机器人可以完成药品和工具递送、病人通知、赞助诊疗等任务。
在制造业中,移动操作机器人可以实现传统机器臂无法实现的功能,提升工业生产的自主化水平。
在实验室助手方面,移动操作机器人可以帮助实验职员开展化学实验事情,如中国科学技能大学集成移动机器人、化学事情站、智能操作系统、科学数据库,研制出数据智能驱动的全流程机器“化学家”。
在家居做事方面,移动操作机器人可以完成物品递送、开门关门、垃圾清理等便捷居民生活的任务。
在餐饮和住宿做事方面,智能移动机器人可以赞助完成上餐、餐具回收、物品递送等任务。
② 在军用领域,移动操作机器人可以赞助作战部队开展侦察、超过险阻、弹药运输、后勤保障等任务,提高作战效率和丰富作战手段。
具备一定或较高智能的移动操作机器人的广泛运用,为具身智能移动操作机器人家当化供应了需求与运用处景。

(二)具身智能移动操作机器人

具身智能观点在1950岁首年月次被提出,指能够与环境交互感知,具备自主方案、决策、行动、实行能力的机器人或虚拟环境中的仿真人,是AI的终级形态。
具身智能具备自主感知、认知、理解、推理、行动等类人或高于人类的能力,具备由“大脑”“小脑”“脑干”组成的完全人脑构造以及可实现行动的机器身体,如图1所示。
个中,“大脑”部分卖力对场景进行认知、理解、推断、剖析,“小脑”部分开展柔性掌握、协同掌握、交互掌握、机动操作等技能学习,“脑干”部分则承担能源调配、环境感知、旗子暗记剖析与打算等事情。
随着时期的发展和科技的进步,具身智能的观点被不断迭代和更新,尚未形成定论,但通识的理解是具有身体的智能技能,即为智能技能授予行动能力。
具身智能的实现依赖于AI领域的打算机视觉技能、多模态感知领悟技能、自然措辞处理技能、因果推断技能、移动导航与方案技能等。
差异于离线智能,具身智能哀求机器人具备高度自主化且可进行感知、理解与决策的“脑”,具有稳定、安全、运动自然的机器人“身体”。
此外,机器人还要具备在实行人类高等指令及与环境交互过程中进行在线学习、更新“脑”和“身体”的能力。

图1 具身智能的内涵及其运用处景

2022年,OpenAI公司研发的大措辞模型ChatGPT被视为通用AI技能领域取得的主冲要破,进而使得具身智能被重新提起。
大规模网络模型基于海量优质数据演习后,在个性化应答、机器翻译、措辞理解、图像理解等方面的性能得到显著提升,运用代价大幅提高。
以大模型为内核,移动操作机器人可以具备思考、理解、认知的能力。
目前,环球已涌现多个成功商品化的大模型,海内包括百度公司研发的文心一言、阿里巴巴公司研发的通义千问等;国外包括OpenAI公司最新研发的GPT-4和图像天生大模型DALL.E 3、谷歌公司研发的Gemini、微软公司研发的数学推理大模型WizardMath、谷歌与柏林工业大学共同推出的视觉措辞模型PaLM-E等。
这些大模型在知识推理、代码完善、知识迁移等领域展现出较强的运用能力。
在措辞识别与理解方面,基于大模型的谈天机器人可以和人自由互换,完成资料检索、总结归纳、日程安排、出行方案、行为方案等任务,具备强大的文本认知与理解能力;针对图像信息,大模型可以准确识别个中包含的各种物品,实现像素级细粒度分割,并具备初步的空间识别能力;在点云信息处理方面,大模型能够准确分割空间中的点云区域,根据点云实现零演习的分类任务;在数学推理、代码天生方面,部分专用大模型已经可以完成定理证明、数学推导与打算,并可以自主编程实现相应任务。
目前,部分综合大模型已经具备较强的文本、图像、点云的信息关联能力,能够根据文本信息准确地识别、分割或天生所需的图像、点云模型,并且支持将真实天下的连续传感器模态直接结合到措辞模型中,从而建立单词文本和感知之间的联系。
在近期的研究中,综合大模型已经可以对人类高等命令天生分步指令。
例如,由人类给出整理房间的指令,大模型可以根据当前的图片信息判断各种物品应摆放于何处,进而天生分布实行指令完成该任务。

与传统移动操作机器人比较,具身智能移动操作机器人最大的进步在于其具备聪慧大脑,能够实现对天下的认知理解进而进行智能决策。
具身智能发展的核心是机器人“大脑”能力的进步。
当前的具身智能发展紧张集中在对移动操作机器人“大脑”层面的研究。
随着大模型技能尤其是多模态综合大模型技能的高速发展,具身智能移动操作机器人将具备更强大的思考、感知、认知、决策能力,实现更加通用自主的机器智能,利用多模态数据进行自我学习、自我适应、自我优化,自主筛选出最优的行动策略与最佳的办理方案以实行任务。

随着机器人技能和AI技能的快速发展,移动操作机器人实物系统不断落地,涌现了多个具备感知、导航、操作能力的移动操作机器人系统,如北京字节跳动科技有限公司的端到端机器人操作模型GR-1、斯坦福大学Mobile ALOHA机器人、谷歌DeepMind公司的视觉 ‒ 文本多模态大模型RT-2以及最新推出的AutoRT等。
沈阳新松机器人自动化株式会社于2021年推出了全新的多可移动协作机器人,可搭载自主研发的视觉和夹具等实行单元,实现对物料的搬运、装置、检测和精密加工等功能运用。
杭州迦智科技有限公司推出了新款复合作业机器人MORA300,具有自主充电、自主定位导航、智能路径方案、第三方举动步伐对接交互等功能。
库卡机器人有限公司(KUKA)近年来推出了KMR iisy、KMR iiwa等移动协作机器人平台,可以与人一起互助,并以毫米级精度在工件上作业。
此外,KUKA公司的完备自主作业式移动机器人平台不须要电感线圈、地面标记或磁铁。
2023年7月,谷歌DeepMind公司推出的机器人模型RT-2是一个全新的视觉 ‒ 措辞 ‒ 动作模型,可以通过网络和机器人的数据进行学习,并将这些知识转化为机器人掌握的通用指令。
2023年11月,One X公司与OpenAI公司深度互助,开拓了一款具身智能类人机器人EVE,可以实现对人类日常事情环境的认知理解,在与环境交互的过程中学习、纠正、网络数据,完成自主居家、办公帮手任务。
波士顿动力公司研发了Spot机器狗,能够实现敏捷快速的探索与运动,支持在机器狗上扩展机器臂等多种外设;可以集成更多的传感器,提升通信和打算能力;通过元学习办法支持自主导航与探索,实现物理天下交互与无边界探索。

总体而言,具身智能移动操作机器人拥有支持觉得和运动的机器身体,增强了主动感知与灵巧实行的能力;不仅具备传统移动操作机器人的功能,还能够听懂人类措辞,感知并理解外部环境,并据此分解任务、方案子任务,在移动中识别物体,与物理环境交互、终极完成相应任务。
具身智能移动操作机器人正朝着形态多样化、功能全面化、任务通用化、行为自主化、交互人性化的方向发展,不断呈现出新的移动操作机器人设计思路和功能任务。
移动操作机器人平台和实物系统的家当化进程不断加快,但其对外部环境和人类指令的理解和认知能力还有待提升,仍需人来发送详细的指令。
未来,具身智能和移动操作机器人系统深入结合与落地,将推动移动操作机器人家当的进一步发展。

三、基于具身智能的移动操作机器人系统关键技能

当前,具身智能移动操作机器人发展形成的关键技能包括多模态感知技能、天下认知与理解技能、智能自主决策技能、运动与操作联合方案技能(见图2),旨在推动移动操作机器人的系统的发展。

图2 具身智能移动操作机器人发展与研究框架

(一)多模态感知技能

多模态感知技能能够使具身智能移动操作机器人实现更高的自主性、高效性、通用性,增强对周围环境的局部感知能力,并为机器人供应丰富、稳定、准确的环境数据。
室内繁芜场景的运动感知信息每每存在多源性、异构性、动态性等特色,同机遇器人须要面对环境光强变革、非全局特色感知、遮挡复原与推断等问题。
对此,机器人可通过多角度图像旗子暗记、激光雷达(LiDAR)平分歧模态信息数据关联以及多源图像数据领悟,完成对周围局部环境的立体重修。
针对室外开阔场景与繁芜高噪环境,通过图像、LiDAR、热成像检测、环球定位系统等多源多模态传感器的多元领悟技能,实现多传感器的上风互补,确保感知信息完备有效。
通过目标检测、目标分割等技能,构建感知环境与实际环境的空间映射关系,形成多模态环境数据“一站式”领悟智能处理系统,实现对局部环境空间、物体的即时感知与虚拟重修,为移动操作机器人系统对环境的认知与理解供应可靠数据来源。

(二)天下认知与理解技能

具身智能移动操作机器人与传统移动操作机器人比较,具备能够自主感知、认知理解、任务方案的聪慧大脑。
具身智能移动操作机器人构建感知天下与现实天下理解认知的共性关键技能发展方向紧张有两种,一是基于深度学习方法,构建大模型,以环境感知数据为输入,通过迭代演习,形成对感知天下的履历认知与理解;二是通过对物理天下的物体认知,对物体运动、物体形变、工具利用等客不雅观征象进行物理仿真和建模剖析,构建天下共性物理模型,实现对局部环境的认知与理解。
移动操作机器人系统利用智能技能完成对环境的感知与理解,进而对人类指令进行剖析以构建上层任务的解析与方案,终极形成基于自然感知环境数据、可以独立自主对人类命令进行剖析、实现任务分解的上层方案系统。

(三)智能自主决策技能

鲁棒、安全、最优的智能决策系统是具身智能移动操作机器人与环境和人类稳定交互、可靠实行、可行决策的关键。
通过智能化技能,移动操作机器人具备自主决策与社交能力,可以通过自主天生、人机交互、机器人间交互三类办法天生决策。
决策系统包含局部天下环境感知与物体认知理解的相互映射匹配和对齐、人类与机器人指令交互的双向代价对齐、人类命令与机器人可实行指令对齐三个主体部分。
详细来说,具身智能移动操作机器人在得到人类高等命令后,领悟移动操作机器人系统环境感知数据与物体认知理解,构建局部环境空间映射和物体种类、用场、利用办法的关联关系。
在此根本上,决策系统进一步天生人类分步指令集,完成上游命令的任务分解,在人机交互过程中以在线学习办法动态进行双向人机代价对齐,保障分步决策符合人类代价体系。
终极,构建人类命令与机器人可实行指令的转化系统,完身分步决策结果到移动操作机器人可实行指令的对齐转换,形成与环境和人类稳定交互、自主决策的移动操作机器人决策系统。
与一样平常智能机器人比较,该系统常日具备社交导航、物体导航、人机协作、多机协作等高等能力。
现有的机器人自主决策研究紧张有两种办法,一种因此大措辞模型为核心,通过对人类指令进行预编码解码剖析,设计输入信息,利用大措辞模型给出决策方案以实现自主决策;另一种则是通过对人类行为与物理天下进行解析剖析,理解人类行为与代价评判,进而根据当前感知信息推断方案天生最优决策。
这两种办法各有利害,目前由于大措辞模型技能的快速发展,第一种方法在近年来更受关注。

(四)运动与操作联合方案技能

随着移动机器人技能的发展,移动操作机器人的种类不断增多,机器人的移动导航干系技能发展日趋成熟,机器臂的方案掌握鲁棒性、自抗扰性、柔性掌握技能日益完善。
然而,移动操作机器人系统作为具身智能的实际载体,其运动与操作联合方案技能尚未完备,致使具身智能的支配与运用受到较大掣肘。
具身智能移动操作机器人已经具备对上游高等命令进行自动感知、自主决策、多机协作、人机交互的决策能力,而这对导航运动与操作的协同方案提出了更高的哀求,单一的导航运动与操作掌握无法知足其机动性、高效性、连贯性、稳定性、安全性的需求。
具身智能移动操作机器人的运动与操作联合方案技能须要具备移动基座与机器臂的协同方案掌握能力,多机协作、人机协作的事情能力。
在此根本上,具身智能移动操作机器人能够在繁芜空间约束环境下完成范例任务,包括在室内外繁芜约束地形与环境下的移动、抓取、搜索、运输、交互,领悟环境感知数据进行局部建图与定位、多枢纽关头路径方案、协同交互式操作、工具理解与利用等;能够与其他机器人和人类并行统一协作或串行交互通报完成难以独立完成的、更为繁芜的高等任务。
此外,在共享同一事情空间的范例社会化人机交互场景中,由于机器人的安全性和性能与人类的运动自然耦合,机器人须要对人类未来的运动进行实时推断,方案出安全、高效、符合社会规范的路径,让人类长期接管机器人作为互助者,实现社交导航。
未来,移动操作机器人均须要在动态社会化环境中进行安全的自主导航,人类也须要很好地理解移动操作机器人的行为以便对其未来的行为做出预测。
人机交互共融技能将逐渐成为移动操作机器人领域的研究重点。

四、基于具身智能的移动操作机器人系统发展面临的问题与寻衅

当前,对机器人自主化、智能化的哀求不断提高,传统离线智能模式的局限逐渐增多,已不能知足国家的计策需求与行业运用须要。
随着多模态感知、AI、人机交互、自然措辞处理、任务和运动方案等技能的不断发展,现有的具身智能移动操作机器人关键技能仍有待演进提升,具身智能移动操作机器人发展依然面临诸多问题与寻衅。

(一)感知方面

在感知方面,具身智能移动操作机器人紧张面临如下问题。
一是自主感知能力欠缺。
具身智能移动操作机器人不再局限于接管指令后仅对当前所在位置进行局部感知,而能够在繁芜场景下根据人类供应的高等指令,自主判断对当前环境的感知程度,并进一步通过自主方案运动,实现动态感知,丰富自身对环境的感知程度,因此对其自主感知能力提出了更高的哀求。
二是交互感知能力薄弱。
具身智能移动操作机器人不再单独依赖人类低级指令进行方案实行,而是通过人类高等指令进行感知方案,完善对当前局部环境的多粒度探索,丰富环境感知数据。
目前,移动操作机器人在约束环境下的自主感知技能仍处于发展阶段,没有有效的感知手段,对人机交互感知的准确性、即时性、有效性都提出了寻衅。
三是多模态数据领悟与局部环境构建缓慢。
移动操作机器人须要对周围局部环境进行充分完备的感知与重修,须要实现多模态数据领悟与环境空间的三维映射,重修局部三维舆图;具身智能移动操作机器人须要具备快速相应、自主方案能力,而当前技能在效率上无法担保即时高效。

(二)认知与理解方面

在认知与理解方面,具身智能移动操作机器人紧张面临如下问题。
一是对环境物体的形态、功能、利用、交互办法存在认知欠缺。
在具身智能下,移动操作机器人须要基于环境感知数据,完成对环境中各种物体的用场与利用办法等的认知和推断。
当前,AI领域的大模型技能虽然对常见物品具备一定的通识理解能力,但和人类履历之间仍存在偏差,无法构建环境中物体的关联关系,也难以根据环境中物体的实际形态、状态实现信息领悟。
这对移动操作机器人的决策天生与方案实行带来了可行性寻衅。
二是对人机交互的高等命令存在理解不敷。
在面对人类给出的诸如整理房间、完成仓库中货色运输、搜救被困职员等高等指令时,现有以大措辞模型为根本的AI技能尚无法通过与感知环境数据领悟以给出合理的认知与任务分解,随意马虎陷入履历认知陷阱,缺少交互学习与纠正能力。

(三)决策方面

在决策方面,具身智能移动操作机器人紧张面临如下寻衅。
一是自主智能决策能力薄弱。
具身智能移动操作机器人的聪慧大脑须要实现环境感知与天下认知理解结果的领悟匹配,依照人类代价体系天生合理、可行的决策方案,构建移动操作机器人系统可实行的指令集,完成人类实行方案与机器人系统指令集的关联映射,形成移动操作机器人办理方案。
因此,移动操作机器人系统在决策时须要具备类人的代价标准、环境物体与认知物体的理解对齐能力、将人类高等指令分解为机器人可实行指令序列的能力等,这些对移动操作机器人技能与具身智能发展提出了寻衅。
当前,具身智能决策方法紧张环绕大措辞模型进行认知理解与推断,加入先验信息勾引或加入后验信息反馈纠正。
由于大措辞模型存在的幻觉、伪逻辑等问题,可能天生一系列机器人难以实行的指令;同时在引入先验信息时,由于具身智能移动操作机器人的事情场景及任务常日须要即时决策,对细粒度图像与点云进行分割、特色提取的现有方法虽然效果与泛化能力很强,但打算本钱与耗时均较高(如SAM),不利于即时导航与决策。
近期,LLaMA、LLaVA等通过预演习模型、有监督微调、近端优化等办法,其性能得到进一步提高,但依然存在指令通用性太强,无法详细实行的问题。

(四)运动与操作的联合方案方面

传统运动导航与机器臂运动方案相结合的办法存在灵巧性差、稳定度低、空间路径次头等诸多问题。
一是在繁芜的室内外场景,如家庭室底细况、工厂车间环境、灾后搜救环境等,针对目标的探求、捕获和运输等任务存在很强的空间、韶光条件约束,现有算法存在运动不连续、不自然、不稳定、不屈安的问题。
二是在动态环境中,基于局部感知进行移动导航与操作存在方案求解缓慢、效率较低等问题。
虽然在静态和已知环境中的机器人导航方面已经开展了大量研究,但当机器人从静态或受控环境转变为动态环境时,多个智能体以不同的模式移动,会面临诸多寻衅。
三是移动操作机器人与公共空间中其他动态机器人或人类进行交互时,对安全性提出了新的更高哀求。
人类可以依赖知识和履历来理解其他智能体的行为,但当前的智能移动操作机器人仅限于实行预设的交互模型完成与有限人类行为的交互,且移动操作机器人行为的有效性须要在人机系统中进行评估。
然而,由于人机稠浊系统的高度繁芜性,难以进行理论剖析和全面仿真评估;在试验评估中,人的安全性至关主要,与人干系的失落败容忍度极低,因此开拓更安全有效的人机交互系统评估平台至关主要。

(五)通用仿真实验平台方面

目前,移动操作机器人领域技能研发过程中缺少通用、可靠、多接口的多场景综合仿真实验平台,技能研发速率减缓,衍生出诸多实物支配中须要面临的兼容性、稳定性、准确性、泛化性问题。
具身智能移动操作机器人的技能更新与迭代速率快,构建软硬件高下游系统的本钱较高,但由于仿真环境多样性的限定,适用场景十分有限,亟需在仿真平台进行研发与实验验证,推进技能落地与家当化。
目前,学界与业界缺少具备通用接口、真实物理引擎、包含多场景的机器人综合仿真平台,阻碍了具身智能移动操作机器人的发展,成为桎梏具身智能移动操作机器人发展的一大关键节点。
因此,在当前具身智能发展的浪潮下,移动操作机器人系统的研发对综合仿真实验平台需求更加急迫。

五、基于具身智能的移动操作机器人系统发展建议

(一)紧抓具身智能移动操作机器人持续发展与家当生态构建

我国具身智能移动操作机器人发展应着眼形成涵盖优质数据、前沿关键技能、实验测试平台、实体开拓与成果转化的科技研发与落地全链条,与国内外高水平研发机构、高科技领军企业、交叉领域干系单位充分联合,有效凝聚科技协同创新的计策资源,探索高效的有机协同机制,形成“产学研用”一体化的上风互补发展模式;以国家重大计策需求与政策为勾引,推进我国根本技能、关键技能、运用支配技能的研究与打破,形成跨领域的家当化发展上风,知足国家培植、社会经济发展的计策需求,加速推进聪慧社会与聪慧城市的构建。

(二)看重关键技能领域的原创性打破

环绕具身智能移动操作机器人的共性关键技能,在环境感知、认知理解、智能决策、运动与操作联合方案等核心技能方面进行打破。
建议行业主管部门发布具身智能共性关键技能研究操持,加强行业对新技能态势下的移动操作机器人系统的智能化、自主化、通用化、机动化、安全化的重视程度,切实推动具身智能发展。
加速AI技能对移动操作机器人的赋能,构建完备的软硬件交互平台,持续推进具备自动感知、自主决策、自然交互、安全实行能力的移动操作机器人系统构建。

(三)重视发展智能科学与机器人领域,关注智能科学与技能学科培植和人才培养

推进校企联合开展关键技能研究与打破,整合创新资源,加强研究机构与高下游企业的深度互助与资源共享,环绕共性关键技能研究与工程化集成运用打破,构建具身智能移动操作机器人的创新链条与家当链条。
同时,进一步完善学科领域布局,推进智能科学与技能的一级学科培植,设立智能机器人专业,增加智能机器人干系硕士研究生和博士研究生的招生名额;完善智能机器人干系学科的培养与传授教化方案,拓宽智能机器人学科交叉范围,与数学、物理学、生物学、打算科学等学科教诲进行交叉领悟。
强化实验实践与实物支配在传授教化中的占比,提升AI技能到实体移动操作机器人的支配能力,为国家智能机器人领域发展供应充足的人才资源。

(四)鼓励培植多场景移动操作机器人系统通用验证平台

与医疗、教诲、消防、交通、家庭做事、工业生产等领域中的干系单位展开深入互助,为具身智能移动操作机器人供应运用处景与示范验证平台,推进多场景智能机器人的通用性测试验证基地培植,为智能移动操作机器人发展供应充足的研究数据,为社会智能升级积累履历。
借助我国与“一带一起”及其他地区的经贸互助关系,推广我国具身智能移动操作机器人的干系技能与产品,扩大领域影响力,推动形成技能与产品的环球布局。

(五)折衷具身智能移动操作机器人与人类社会和谐发展

具身智能移动操作机器人技能在发展过程中因其自主性、智能性、交互性等特点,在人类社会中安全、可靠、稳定的运作依然须要在伦理、法律层面予以保障,进而确保干系技能的安全研发。
在伦理层面,对付移动操作机器人的自主决策过程,技能研发需恪守白盒办法,明确机器人的完全推理与决策过程,保障人类的可靠干预,确保机器人的行为正常无风险。
在法律层面,针对具身智能可能对社会带来的影响,充分考虑并予以法律保障。
例如,对付移动操作机器人的自主决策与运动方案行为,需明确界定其法理任务;对付移动操作机器人可能替代的行业人群,需从法律角度折衷机器人的生产进程,保障人类公民的就业与生存等;合营明晰机器人行为天生的干系技能模块,便于明确任务人和任务关系,为法律实行供应合理的判罚标准与论据。

文章来源:中国工程院院刊

相关文章