基于通道级累积脉冲序列图像驱动模型的手势识别研究
更新时间：2026-04-09
浏览次数：1595
基于通道级累积脉冲序列图像驱动模型的手势识别研究
在手势识别领域，构建自然、精准的人机交互接口对于智能假肢控制、运动功能康复等应用至关重要。当前主流方法通常基于表面肌电信号，通过提取其时频域特征并结合机器学习算法进行分类。然而，表面肌电信号本质上是大量运动单位电活动的混合叠加，易受噪声干扰，仅是底层神经控制信号的粗略表征。为突破这一限制，研究者尝试从高密度表面肌电信号中分解出单个运动单位的放电活动，以期建立更直接的神经接口。
然而，现有方法多聚焦于运动单位的时间或频率特性，忽视了其蕴含的空间激活信息。生理学研究表明，不同手势依赖于空间分布各异的肌群协同，其对应的运动单位募集也应具有独特的空间模式。基于此，如何有效提取并利用神经驱动信号中的空间信息，成为提升手势识别性能的关键。
本文提出了一种基于通道累积脉冲序列图像的驱动模型，用于从神经控制信号中识别手势。该方法首先利用空间脉冲检测算法，从高密度表面肌电信号中分解出各通道的累积脉冲序列。随后，根据电极的空间排布位置，将这些序列重构为通道累积脉冲序列图像。
最后，将图像输入一个定制的卷积神经网络中进行手势分类。实验招募了10名受试者，执行10种手势，并将所提方法与两种基于均方根特征的方法以及一种仅使用累积脉冲序列放电率的方法进行了对比。
结果表明，所提方法取得了最高的平均分类准确率（96.92% ± 1.77%）。进一步分析发现，相较于均方根特征，累积脉冲序列特征在不同手势间具有更好的可分性，且在训练与测试数据集上表现出一致性。本研究为利用神经驱动信号实现高精度手势识别提供了新方案。
本研究的数据采集使用三块8×8的高密度表面肌电电极阵列，电极间距为10毫米。这三块阵列环绕受试者前臂均匀排布，覆盖从桡骨到尺骨的区域，参考电极缠绕于手腕。实验包含10种手势，每种持续10秒，每个受试者重复8次实验。
信号预处理包括20-450Hz带通滤波及50Hz工频陷波。在核心算法部分，首先利用基于空间脉冲检测的算法分解通道累积脉冲序列。该算法通过对白化后的信号进行能量计算，并结合空间滑动窗口来识别脉冲放电时刻。
随后，将192通道的放电率按电极空间分布重构成8×24的图像。模型架构分为两部分：首先由基于均方根图像的CNN网络检测静息状态，非静息状态下的通道累积脉冲序列图像则输入到手势识别CNN网络（如图4、图5所示）。网络包含卷积层、批归一化层、池化层和全连接层。训练时，随机选取一组实验用于校准分解参数，其余用于模型训练与测试。
实验结果显示，当使用6组实验进行训练时，所提方法（cwCST-CNN）的平均分类准确率（96.92% ± 1.77%）显著高于RMS-CNN（86.42% ± 18.73%）、cwCST-LDA（90.44% ± 4.50%）和RMS-LDA（88.83% ± 16.14%）（图7）。
即使在仅用1组实验训练的情况下，该方法仍能保持87.61%的准确率，优于其他对比方法（图8B）。
为深入分析原因，论文可视化了不同手势的通道累积脉冲序列图像激活模式，发现每种手势均呈现出独特的空间激活模式（图6）。
进一步，通过主成分分析对累积脉冲序列和均方根特征进行降维可视化，结果显示累积脉冲序列特征在空间上的类间距离更大，可分性更好（图10）。
定量分析也印证了这一点：累积脉冲序列特征的可分性指数（2.21 ± 0.70）显著高于均方根特征（1.93 ± 0.61），而其重复性指数（0.63 ± 0.14）则显著低于均方根特征（0.85 ± 0.29）（图11），表明其特征更稳定。
本研究成功构建了一种基于通道累积脉冲序列图像驱动的手势识别模型，通过引入运动单位的空间激活模式，显著提升了手势识别的准确性。研究证明了直接利用神经驱动信号中的空间信息，比使用传统的、受噪声干扰的表面肌电信号特征更具优势，为构建更稳定、自然的人机交互接口提供了新思路。然而，该方法依赖于高密度电极阵列，在一定程度上限制了其在便携式设备上的应用。未来的研究可从以下方向展开：一是探索基于新型柔性传感技术（如3D打印电极阵列）的高密度电极，以提升穿戴舒适性与集成度；二是开发小型化、低功耗的信号采集与处理系统，以推动其在智能假肢等嵌入式平台上的实际应用；三是进一步探究运动单位空间激活模式在跨用户、跨时段场景下的鲁棒性，以提升模型的泛化能力。
研究团队介绍
本研究由上海交通大学机械与动力工程学院及机械系统与振动国家重点实验室的科研团队完成。团队长期致力于神经工程、人机交互与智能康复领域的研究，在肌电信号分解、神经解码及假肢控制等方面积累了丰富经验。团队在多通道生理信号处理、运动单位分解算法及深度学习模型构建方面具有扎实的理论基础与实验能力，致力于推动非侵入式神经接口技术的发展与应用。
