|
基于轻量级 OpenPose 改进的幻影机手势交互系统 ) R% L% S n% N
8 n4 b/ a: }- y8 W9 H1 [# l- D8 L& C5 C7 o+ W& v# @- i+ I
6 H5 v0 g! V6 S% \+ u; G目前人机交互方式多以键盘鼠标为主,而基于深度学习手势识别的交互方式算法准确率不高,且实
4 L9 u9 \1 W8 }8 k% e时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采 R( ^/ s0 L. a! w6 J: |% q
用轻量级 OpenPose 将人手简化建模为 21 个关键点,以 MobileNetV1 作为基础模型,应用部分亲和域(Part
% G1 x; X5 o4 \7 IAffinity Fields, PAF)方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性,
) _$ Z# U% V2 i, T6 ~1 K4 D$ f采用幻影模块(Ghost Module)对卷积层进行降维,用更少的硬件资源取得同样的识别效果。最后搭建验证
' M& E% T% o1 O, C# a! P; q3 _; y环境,根据画出的人手骨骼图进行模式匹配,根据匹配识别结果生成交互控制指令,经由蓝牙通讯将指令传送
% M6 w; m, d8 j; D至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后,该系统在 coco2017 验证集上能实现 58.7%
( l& c% d- ^3 Z' y+ Q+ j) V的准确率,保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果,在家用 PC 机上可实现 D- U' R# Z6 G# U: z( N
每秒 32~36 帧的识别速率和较高的手势识别率。
# _) S- Y4 ?& K) j% S1 G% O# h( O) z3 @6 v) Z' }
; Q# D) f( h, [$ Q* }( }/ h8 L5 B1 i' X8 {" ^4 \8 g
7 X8 ]9 J* M1 p: [: A+ r/ p, L9 @8 B' U* n! y; F) \
2 L$ Z9 R% n$ x( E& U9 B+ d
|