|
基于轻量级 OpenPose 改进的幻影机手势交互系统 5 m Y3 \ J( R8 v$ M( L
2 {/ W7 W! z- u0 S. a$ T" n$ E ~- B) B# t: D# D4 U5 s. C
- i' j3 e' s9 {$ x) i
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实: y2 A) u7 X- Z. q6 o% J
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采5 H H5 p9 w+ i% P; o) _3 A# ~
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part 5 z8 |3 q' _+ H- Y; Z/ S; h
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
. X" X2 T9 U2 v- n& [) }采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证2 l* R7 _' ?0 o; Y; v' g
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
; {; z0 f$ Z* h% m" V; y* W$ w. {至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
0 | l! K: t3 e的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
" C& ]+ c- ~4 J0 b每秒 32~36 帧的识别速率和较高的手势识别率。 7 c& k1 ]9 e* ?4 B/ o/ y
, @* S3 R: ], ]( K: l9 U
' G7 k# S1 n8 x
( Y+ p7 I, J8 }5 k6 k7 Z& L, v/ I- O6 P
0 T/ D7 ^1 H& P. G
+ N1 |/ y. J' n4 l6 g
| 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
