|
基于轻量级 OpenPose 改进的幻影机手势交互系统
0 C T1 x+ J* B+ |5 z! [& b/ ^( z$ c
# r C6 m& j N/ |: n& I# g* P
7 `3 Q/ A% A: d6 ?0 x
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实8 e3 l* ~# \/ T' N. k6 O( L
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采5 l; ]# o: x# ?4 {2 d/ q' @4 \' X( [' N( i
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
3 |+ G' }& n) ~Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
( w& m$ A# b; ^8 c4 d# d0 B4 Y% Y采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
; K- ~9 @, }9 r* U& N环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送6 T# Z3 Y6 s, a @# v i
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%& |& L' X% g f: L& z% Y
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
4 ]: ~5 o2 ~: A$ x: }0 ^1 g每秒 32~36 帧的识别速率和较高的手势识别率。 ; U& ?) m" u+ l3 J" B* f
: i) I" h: L. q
2 `/ ` X }4 u5 V; V7 b" j# j
# i' R O0 h, l' M8 W, ?/ x4 p
( g9 \% u) Y2 f9 F1 i& H8 E
! P! y0 N ]$ p
' ?8 N( L& e% I0 y$ h% L' F | 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
