|
基于轻量级 OpenPose 改进的幻影机手势交互系统
. }' a, A8 ]* m6 x/ `5 g5 \/ _
+ n" }3 ]5 q6 @' O+ G9 d3 ~* z: I. `! g2 n
2 B; O0 E, @0 T
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实7 N3 L! J4 K* ^
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采/ O6 [9 n. h) V' g# T& l' Q
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part 7 Y, d2 s" z8 M
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
2 ?* w$ {1 g9 @) C8 Z$ h" Y采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
5 Q5 K; U; t9 y0 ]6 U7 j$ |6 C环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送9 R- n- k: |/ M4 I+ q9 e
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%% |) t/ H% ]8 e3 v/ d
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现4 w/ b/ s! R" C
每秒 32~36 帧的识别速率和较高的手势识别率。 1 b& O8 k! _' n$ L6 x) G% m( Z
Z- q Y. t0 y
% R' o2 K8 \: R4 y/ T. z' q% i8 J- l( o8 l1 n) H) G1 C4 r
* L8 ^- g+ O+ C( ?- W
* n A) b! I6 u& n! t4 \" S; @/ U5 }; O. b3 b7 W
| 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
