|
基于轻量级 OpenPose 改进的幻影机手势交互系统
* |: y4 [- K; t, Y. D0 q/ z" [8 A% e$ L. P6 u8 h
; Z- z0 D& p/ \* y/ i
H k F* O! T% }
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实1 l7 Y1 o/ Z# y& d
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采4 }# X( n F6 n9 N2 l2 d
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part ; f/ _3 x) u* X6 d) G
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
1 D' O- w5 w" ^- |6 h采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证; N4 r+ e- d" z/ a4 @- _, u+ N
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
+ w2 b( t8 | q至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
2 O- F6 r6 I0 w' f( I: |. \" Q; W的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现2 @+ z" m: s, t; L( m9 B2 a9 A
每秒 32~36 帧的识别速率和较高的手势识别率。 - d& M0 H K+ B" X
5 `) K( v0 c8 g5 w) t/ x \& w% @
3 P7 C) |7 B& h% B
: f. w" x0 H6 m. \: D4 f1 r7 J8 [: B/ f) M
# n6 f7 B& n2 ^
1 m) t2 I% H- o- W6 q \ | 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
