Thumbnail Title
模拟人体触感 开拓具身智能前沿发展

科大工学院研发具身感知驱动机械臂「EmArm」

Content Banner
科大电子及计算机工程学系申亚京教授(右三)与研究团队成员,包括唐一峰博士(左三)、印天慈(右二)、李根博士(左二)、凌征榕(右一)及王鹤翔(左一),展示团队研发的具身感知驱动机械臂 EmArm。
科大电子及计算机工程学系申亚京教授(右三)与研究团队成员,包括唐一峰博士(左三)、印天慈(右二)、李根博士(左二)、凌征榕(右一)及王鹤翔(左一),展示团队研发的具身感知驱动机械臂 EmArm。 [Download Photo]
Body

香港科技大学(科大)研究团队日前成功研发具备全手臂触觉感知及自适应操控能力的具身感知驱动机械臂系统(Embodied Sensorimotor Robotic Arm)「EmArm」。EmArm将柔软的光学触觉皮肤嵌入机械人骨架内部,结合实时决策演算法,使机械臂能感知及分析上臂和前臂接触的资讯,赋予机械臂模拟人类触觉感知的能力,以灵活操控不同物件,并能辨识不同的触碰方式(如搔痒或轻拍等),即时作出情绪反应;透过即时决策避开障碍物,为具身智能机械人发展开辟崭新研究路径。

是次研究由科大电子及计算机工程学系教授、郑家纯机器人研究院副院长申亚京教授及其Mevita Robotics Lab团队带领。其他作者包括:科大博士后研究员唐一峰博士(第一作者)、李根博士、任豪博士、在读博士生印天慈、凌征榕、赵浩翔、张蕊佳、前实验室成员张铁山教授(现职深圳大学)及杨柳教授(现职天津南开大学)。研究成果已于国际研究期刊《Nature Sensors》发表,论文题为「Embodied sensorimotor integration for whole-arm tactile sensing and adaptive robotic manipulation」。

感知保真度高达97.9% 无缝整合高精度驱动能力

研究团队受人体结构「骨骼-肌肉-皮肤」启发,将大面积的柔软光学触觉皮肤嵌入EmArm的机械骨架之中,成功实现高强度操作与柔软触觉感知一体化。EmArm的上臂和前臂覆盖着超过71,000平方毫米的柔软触觉皮肤,并透过内部亚毫米级的摄影机,分析机械臂受力的分布情况。

EmArm与人类手臂的触觉感知能力相当接近,其空间解析度达0.085毫米,媲美人体指尖皮肤;分辨出两个独立触觉刺激点距离(两点辨别阈值)仅18.2毫米,表现更比人类手臂皮肤感知的30至50毫米范围更为优胜,可见EmArm能够比人类手臂更精细地分辨接触点之间的距离。此外,EmArm利用光学感知技术有效消除了电子皮肤复杂布线的问题,并对电磁、光线、温度、湿度和声学干扰具良好抗干扰能力。实验结果显示,即使在五种不同的环境干扰下,EmArm的感知保真度仍高达97.9%。

更重要的是,嵌入的触觉皮肤并未对机械臂的高强度操作造成任何实际影响。团队的研究显示,EmArm与传统机械臂的重复定位精准度相若。此外,EmArm可以承受超过15公斤的压力负载及7.35牛顿米(Nm)的扭转负载,可见EmArm在单一具身感知驱动的一体化架构上,成功将全手臂触觉感知能力与高精准度驱动能力无缝整合。

「感知-行动闭环」框架实现五个表情反馈 开拓具身智能发展

研究的通讯作者申亚京教授表示:「要让机械人具备感知能力,除了要从传感器获得准确的原始讯号外,更重要的是如何让系统快速分析这些讯号,让机械人『明白』这些触觉讯息代表什么,以及应该『怎么行动』。我们要处理的是一个高维度、随时间不断变化的力场数据流;如果直接采用端到端学习,不仅需要海量标注数据,对算力的要求也很高,难以在机械人平台上实现即时运作。」

研究团队为了让EmArm从「传感器」升级为「智能体」,他们进一步提出了「感知-行动闭环」框架,实时结合关节角度(本体感知)与触感(外在触感)的资讯,并提取接触位置、面积、力度、接触点数等不同数据,驱动机械臂作出自主决策。在整个系统中,最关键的是将感知数据直接回馈至机械臂的运动控制部分。例如当EmArm抓取一个放置位置偏离重心的篮球时,系统会利用实时触觉特征与预先学习的策略路线进行比较,实时生成机械臂的角度指令,持续调整上臂与前臂施加的力量,以保持物件平衡。

研究团队在三个常用场景中展示了EmArm的应用潜力。在「人机互动」场景中,EmArm能够有效识别五种不同的人类触碰行为,包括「抚摸」、「捏」、「戳」、「搔痒」及「拍打」,并即时判断人类意图,作出「快乐」、「悲伤」、「好奇」、「害羞」或「愤怒」的表情反馈,辨识准确率高达99.8%;在「操控任务」中,当篮球以偏离重心的状态放置在机械臂上时,EmArm能透过全手臂触觉反馈与力度控制技术,自主调整姿态,使物件保持稳定;更具挑战性的是「轨迹重规划实验」,结果显示,当视觉系统无法看见的动态障碍物(例如突然出现的人手)进入运动路径时,EmArm能立即通过触觉侦测障碍物、执行紧急停止、判断障碍物属暂时或是永久性,并自主重新规划路径绕行,展现出EmArm即使在视觉受遮挡的情况下仍具备安全而灵活的智能自主操作能力。

EmArm不仅代表全手臂触觉感知技术的重要技术突破,更标志着机械人的设计由「外挂感知」走向「内生智能」,从「视觉主导」迈向「多模态融合」。研究团队表示,EmArm的架构未来有望进一步拓展至机械人腿部、躯干等部位,为人形机械人在家居服务、工业、医疗辅助等应用场景中的安全自适应互动,及发展具身智能(拥有实体躯壳,能在真实物理世界中感知、互动与学习的AI)奠定重要发展方向。

研究获国家科技重大专项「脑科学与类脑研究」、广东省基础与应用基础研究基金、香港创新科技署及大学科技初创企业资助计划支持。

(原文由香港科技大学公共事务及环球传讯处在此发布。)