中山大学:基于共形生物粘附水凝胶的多模态腕带传感系统用于精准实时手语翻译与人机交互

智能家电 2025-11-08 广盈财人 4357

为了满足可穿戴人机交互(HMI)在健康监测、主动康复及智能交互等领域的需求,研究人员正专注于开发基于软材料的柔性HMI设备,以替代传统刚性界面组件,实现高效、连续的人体生物信号采集。这些柔性HMI设备虽展现出显著应用潜力,但现有方案仍存在关键局限:1)智能数据手套类界面限制手指自由活动、易积汗影响舒适度;2)传统水凝胶电极普遍存在自粘性不足、与皮肤机械性能不匹配、界面阻抗高的问题,难以稳定捕获低信噪比(SNR)的表面肌电(sEMG)信号;3)多通道信号采集系统虽能提升识别精度,却增加设备体积与便携性难度,且多模态信号融合常导致算法复杂度过高、实时响应性下降,多数系统还依赖外部网络,限制户外应用。因此,开发兼具高舒适度、高信号质量、便携性与实时离线交互能力的全集成HMI界面,成为柔性电子领域的重要挑战。

水凝胶因三维聚合物网络结构与皮肤理化、力学特性相似,被广泛用作柔性电子中的表皮电极材料,但其在HMI系统中的应用仍面临瓶颈:传统聚丙烯酰胺(PAM)水凝胶常因导电性与机械性能难以平衡,且缺乏抗菌性与长期稳定性,限制长期佩戴舒适性;虽有研究通过引入导电聚合物、碳纳米管等提升性能,却仍未解决界面接触不稳定与运动伪影问题;此外,常规sEMG采集系统依赖有线连接的离散器件,多模态融合进一步增加系统复杂度与成本。为突破这些局限,需设计兼具强自粘、高导电、高稳定性与抗菌性的水凝胶材料,并实现传感模块与采集电路的高效集成,以在保证信号质量的同时,提升系统便携性与实时性。

本文提出一种基于蜂蜜-氯化钠(NaCl)共改性聚丙烯酰胺(HSCP)的智能水凝胶表皮电极,并集成构建成共形生物粘附多模态腕带系统,实现精准、移动且实时的手语翻译与人机交互,该HSCP水凝胶通过蜂蜜引入强自粘性(皮肤剪切强度≈2 kPa)、低杨氏模量(≈1.2 kPa,匹配软生物组织)、天然抗菌性(金黄色葡萄球菌存活率低至21%)和保湿性,NaCl作为离子导电介质赋予其1.6 S/m的高电导率,使sEMG信号SNR达31 dB(远超商用Ag/AgCl电极的17 dB),且16天连续使用后SNR仍维持在22 dB以上。腕带基于柔性印刷电路板(FPCB)设计,体积仅40 mm²、重量8 g,集成双通道sEMG采集芯片(KS1082)与三轴加速度(ADXL345)双模态传感器,可同步捕获高频sEMG(20-200 Hz)与低频加速度(0-10 Hz)信号,通过平稳小波包变换(SWPT)预处理与CBAM-LSTM-CNN轻量化AI模型,实现97.2%的手语识别准确率。系统通过蓝牙与专用移动APP通信,算法与模型本地部署,响应延迟低于500 ms,无需联网即可实现手语翻译(文字+语音输出)、机器人远程控制(处理模拟危险物品)及主动康复训练(驱动气动手套辅助手部运动),在听障人士沟通、中风患者康复及工业危险场景中展现出显著应用价值。

2025年10月24日,相关工作以“Conformal Bioadhesive Hydrogel-Based Multimodal Wristband for Accurate, Mobile, and Real-Time Sign Language Translation and Human-Machine Interactions”为题发表于《Advanced Functional Materials》,共同通讯作者为中山大学吴进副教授、付俊教授,南京工业大学霍峰蔚教授及西北工业大学陶凯教授,共同第一作者为中山大学肖明轩、罗艺冰等。

wKgZO2kIgwGAILE5AAlIMLrZtL4287.png

图1水凝胶基移动式柔性腕带式集成化HMI系统,适用于多功能应用场景

图2HSCP水凝胶的制备与表征

wKgZO2kIgwKAU9UjAAhTSWg63mQ251.png

图3柔性双模态HMI系统的性能评估

图4用于精准HMI的SWPT算法与CBAM-LSTM-CNN模型构建

wKgZO2kIgwOAL74zABVmJo8PDsU462.png

图5基于腕带的可移动实时HMI界面的应用

wKgZO2kIgwOAY_XEABZVLQj32ac201.png

图6基于可移动实时HMI界面的多功能应用

论文信息:

Mingxuan Xiao, Yibing Luo, Huizhi Chen, Hao Wang, Dijie Yao, Dingkun Wang, Yujiang Pan, Baoli Zha, Qiuhua Yu, Ruijie Xie, Bo-Ru Yang, Kai Tao,* Jun Fu,* Fengwei Huo,* and Jin Wu*.Adv. Funct. Mater.2025, e22153.

原文链接:

https://advanced.onlinelibrary.wiley.com/doi/10.1002/adfm.202522153

来源:高分子科技