人们经常向往能够拥有魔法，以实现各种神奇的操作比如隔空操控、隔空取物，即在不主动触碰某个物体的情况下，用类似意念的超能力操控物体移动，多用于神话科幻电影或小说。正所谓，科技来源于想象，想象力是推动人类走向物种最顶端的原动力。而当科技发展到一定程度时，这种对于超能力的向往、对神奇操作的想象有时也会成为现实。
2022年8月26日，国际顶级期刊《自然·通讯》（Nature Communications）报道了北京航空航天大学机械工程及自动化学院仿生机器人研究团队文力课题组在软体机器人交互控制领域取得的最新进展。
操作人员通过裸手不仅能够实现对具有大量自由度的软体机器人的非接触控制，而且可以完成各类复杂的操作。能够将复杂的软体机器人的运动控制变得大众可及，得益于北京航空航天大学研究团队最新提出的基于双模态智能传感界面的软体机器人非接触交互示教方法。在该研究中，基于研究团队所研发多模态柔性传感界面，示教者在不接触软体机器人、无任何穿戴设备的情况下利用裸手交互地示教软体机器人（如连续体软体臂），使其实现复杂三维运动。其主要原理是，利用“隔空"条件下交互界面与人手表面电荷产生的静电感应，将人手和软体机器人之间的距离信号转换为传感信号，进而“诱导"机器人的运动。这类基于多模态柔性感知的非接触的示教方法可以显著拓展人类与软体机器人的交互方式。该论文第一作者为北京航空航天大学机械工程及自动化学院博士研究生刘文博，朵有宁、刘嘉琦、袁菲阳为共同第一作者，文力教授为论文通讯作者。中国科学院北京纳米能源与系统研究所与清华大学计算机系为本研究的合作单位。
瞄准领域痛点问题
软体机器人是一种新型柔软机器人，能够适应各种非结构化环境。由于软体材料的自由度可以根据需求自由变化，因此软体机器人有着极。高的灵活性，并且软体机器人与生俱来的高度适应性，使其在与人类互动方面同传统的刚性机器人相比更具安全优势，在生物工程、救灾救援、医疗领域有着很大的应用前景，受到越来越多的关注。然而，由于目前软件机器人在建模和编程方面存在一定挑战，使得非专业人员在使用软件机器人实现特定动作及执行特定任务时常常面临一些不容忽视的困难。交互式示教方法能够高效、灵活地引导软机器人实现对应的运动，这将有助于软体机器人在室内、生产线和其它非结构化环境中的应用。
攻克两大研究挑战
在传统刚性机器人上常用到的拖拽示教的方式，并不能很好地应用于软体机器人，其主要是由于软体机器人顺应性高、具有无限自由度的自身特性。因此，直接进行“拖拽"会使软体机器人产生很大的被动变形。如果想检测这些被动变形，则需要在软体机器人上布置大量传感器。在解决软体机器人示教交互问题上，目前面临着两大挑战。
（1）一种柔性多模态智能传感器-能够在适应软体机器人大变形的前提下，对多种环境信息（距离、压力以及材质等）做出响应。
（2）一种友好的无需编程的软体机器人示教系统-能够简单高效地将人的指令传递给软体机器人。
挑战一：多模态柔性传感器
由于操作人员在与软体机器人交互过程中可能产生多种信号，且传感器需适应软体机器人自身柔软的特性，因此用于人机交互的传感器应具有检测多模态信号、柔软可变形等特点。课题组基于摩擦纳米发电机原理和液态金属的压阻效应提出了一种能够对非接触信号和接触信号进行实时感知和解耦的柔性双模态智能传感器（flexible bimodal smart skin, FBSS）。该传感器结构上主要包括柔性介电层、柔性电极层、激励层、液态金属图案和封装层组成。该团队利用新型微立体面投影光刻技术(nanoArch S140，摩方精密)实现了柔性介电层表面微型金字塔模具的3D打印，该传感器自身具有较强的柔性和可拉伸性。
图1. 接触/非接触柔性双模态智能传感器(FBSS)的设计与传感原理。(a)传感器将不同功能层堆叠在一起。包括柔性介电层(青色)、柔性电极层(灰色)、刺激层(浅黄色)、液态金属(黑色)和封装层(橙色)。(b)柔性介电层顶部微金字塔结构的电子显微镜图像。该金字塔型微结构一方面可以有效介电层的表面积，增加表面电荷量进而提高非接触传感的灵敏度；另一方面可以减少外力作用在液态金属腔道上的面积增加压强促进液态金属腔道变形，进而提高接触传感的灵敏度。(c)印刷在硅胶材料层上的液态金属材料的光学显微镜图像。(d) FBSS可被弯曲，展示了其柔性。(e)样机可被拉伸(最大拉伸率为58.4%)。(f)样机的接触/非接触传感机制：i)柔性介电层(灰色)和外部物体(红色)在接触几次后，由于电子亲和性不同，产生了等密度的负电荷和正电荷。ii)当外部物体接近柔性介电层时，自由电子被驱动并从大地流向柔性电极。iii)外部物体开始接触FBSS，电子转移量增加，液态金属电阻增加。iv)外部物体与FBSS完。全接触，转移的电子数和液态金属的电阻都达到最大值。v)随着外界压力的释放，电子从柔性电极(灰色)回流到大地，液态金属的电阻减小。vi)随着外部物体(红色)与FBSS分离，回流电子增多，液态金属的电阻恢复到初始状态。
研究团队对柔性双模态智能传感器进行了系统的实验测试，研究结果表明，该传感器可以灵敏地检测外界物体与传感之间的距离以及接触压力，并且能够实时解耦这两种模态。此外该传感器利用不同材质得失电子能力的差异性，还可以对接触物体的材质进行检测。最后，实验研究表明该传感器具有一定环境抗干扰能力以及良好的稳定性和耐久性。研究团队所提出的柔性双模态智能传感器可以有效地检测外部物体的接近和接触信息，比如高速下落的网球，在整个过程传感器可以实时感知和区分网球的接近和击中传感器的逐个阶段。此外，该传感器还可以检测一个羽毛的飘落过程：随着羽毛逐渐接近，传感器输出的非接触信号逐渐增加。该柔性双模态智能传感器还能够感知人手的接近和按压信号，无需在手上增加任何外接设备：研究人员将该传感器连接进入LED灯控制电路，利用人手的接近信号控制控制红色LED灯亮度，接触信号控制蓝色LED灯亮度。
图2. FBSS接触和非接触传感特性的表征结果。(a, b)网球从FBSS上方落下(下落距离200mm)的高速相机图像和接触、非接触输出信号。(c, d)人手指按压FBSS时的场景和接触、非接触输出信号。当检测到的非接触信号超过一个阈值时，红色发光二极管点亮；当手指按压FBSS时，蓝色LED点亮。
在此基础上，课题组人员尝试将多模态柔性传感器与一些简单的软体机器人结合，实现了软体机器人与环境、与人的初步交互。将柔性多模态智能传感器放置在一段软体驱动器末端，通过人手能够实现非接触地直接控制驱动器的弯曲和收缩。这给人一种魔法般的体验；将柔性多模态传感器与气动折纸结构软体手结合，即使软体手完。全埋进沙子依旧能够感知附近玩具昆虫的接近信息，并对其进行精准地抓取；柔性多模态智能传感器与气动驱动软体手爪结合，亦可实现运动路径上目标物体的搜寻与抓取：随着软体手爪逐渐靠近目标物，传感器输出的非接触信号逐渐增加，当超过一定阈值时系统判定为软体抓手找到了目标物并进行抓取，抓取过程中传感器输出的接近信号开始逐渐增加，最终实现了对目标物体的成功抓捕。
图3. 自驱动软体机器人被人和环境的非接触信号触发。气动三自由度软体机械臂被人手的接近信号触发实现(a)弯曲和(b)缩短。(c)装有FBSS的气动软体折纸机器人成功检测并抓住玩具昆虫。(d)一个装备有FBSS的软体抓手自主搜索、检测和抓取塑料圆柱体物体，(e)在这个过程中接触和非接触信号随时间变化的结果。
挑战二：针对软体机器人的示教交互方式
基于多模态柔性传感器，课题组针对10自由度（软体臂主体由9根波纹管式气动驱动器组成，末端有一气动软体手）气动软体机械臂提出了一种非接触示教交互方式：利用人手的接近信号进行非接触控制，软体机械臂运动的步长大小对应非接触信号的大小，人手的按压信号用于控制末端软体手的开合。无需额外的穿戴设备，操作人员通过裸手即可与软体机械臂进行交互。同时，为了实现对软体机器人复杂姿态的控制，研究团队另辟蹊径，提出了“变换传感器位置&示教"的方法。在传感器的背部以及软体机器人上放置小的圆形磁铁，利用磁力快速改变传感器在软体机器人上的位置，从而实现对软体机器人各个驱动段的位姿控制。为简单验证上述示教控制系统的可行性，课题组人员控制软体机械臂进行二维、三维空间物体抓取任务。其重复过程能够很好地对示教过程进行复现。这种示教方式能够有效地捕捉并抓取空间内高、中、低大范围内的目标物体。由于交互控制系统能够完整地记录示教交互过程的控制步长数据，操作人员可以对复现过程的速度进行控制，并且根据用户的需求做出相应的调节。此外，研究人员还在软体机械臂每一段末端和贴附传感器的弧形片上安装了小磁片，便于交互过程中传感器位置的切换。该方法通过简单、快速地更换传感器的位置，实现了对每一段的高效交互控制，最终实现了整个软体复杂位姿的简单控制。
图4. 基于“传感器换位与示教"方法交互式示教软体机械臂实现复杂运动。FBSS I和FBSS II随时间变化的非接触和接触信号的归一化结果。每个图中的红色和蓝色箭头表示用户正在将FBSS从一个位置移动到另一个位置，以便与软体机械臂的不同位置进行交互。(a)示教者使用“传感器换位与示教"方法操纵软体臂实现二维空间运动。(b) 使用“传感器换位与示教"方法操纵软体臂实现复杂三维空间运动。
除了简单的控制软体机器人完成空间物体的抓取任务以外，还可以与软体机器人进行无接触的互动教学，从而实现更加复杂、更具挑战性的任务。例如，将一根水彩笔安装软体臂末端，通过示教方式“教会"软体机械臂在迷宫中行走；通过示教方式操作软体机械臂进行咽拭子采样。为更好地展现软体机械臂的灵活性和示教交互方式的效果，课题组人员在软体机械臂和目标物之间放置一块障碍物，通过示教方式，“教会"软体机械臂越过障碍并成功抓取一朵花。
图5. 交互式示教自驱动软机器人潜在应用的展示。(a)示教软体机械臂走迷宫的实验场景。(b, c)软体机械臂走迷宫实验中示教和复现的轨迹。(d)走迷宫实验示教过程中的信号曲线。咽拭子采集实验示教过程的(e)实验场景和(f)信号曲线。(g)交互式示教软体机械臂越过障碍物并成功抓取花朵。
研究团队提出一种基于多模态柔性传感的软体机器人的“非接触示教"方法。基于所研发多模态柔性传感界面，示教者利用裸手可以无接触地、交互地示教软体机器人（如连续体软体臂），使其实现复杂三维运动。这类基于多模态柔性感知的非接触的示教方法可以扩展人类与软体机器人交互方式。这种简单、高效、友好的非接触交互示教方式，为软体机器人在非结构化环境中的交互控制提供了一种新的范式。
图6. 软体机器人非接触交互示教概念图：人们通过非接触示教的方式轻松控制软体机器人在非结构化环境中作业。
