基于轻量级 OpenPose 改进的幻影机手势交互系统

杨利霞

基于轻量级 OpenPose 改进的幻影机手势交互系统

0 t$ J# K7 K$ Z3 W) J

  ^/ R- `! ^% T( l1 s5 n
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
1 F. O: D' B2 o; R0 j0 ]. W时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采
1 F# B6 I% P( C1 ]用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
- q: L2 Z% X* _6 m7 W' p+ vAffinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
0 Q" I) ]% S( c采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
4 u6 N# Z6 h0 m" M  Y( R/ s至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
1 u" M3 Y) q. ]) \. @& ?每秒 32~36 帧的识别速率和较高的手势识别率。
4 x" K4 F; H1 b4 V
1 \2 l# I6 N$ P3 i0 g! U

0 Q; |( U7 e/ b4 ^, U/ S0 z: U" v
" f8 ^7 U8 w, X- Z* B4 v# j9 g

  e% _) x5 a1 \