|
基于轻量级 OpenPose 改进的幻影机手势交互系统
& n' i# @* F. i: A5 y" r2 U4 Y/ l. g! \5 w
" X/ G' ~. w+ }0 X) W+ Q
4 X+ _% W- _# I' |( e( b' ?
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
0 Q, F0 X7 F7 Z1 q9 m5 R时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采# P: L# H2 i. y9 ^- o3 U
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part 0 @: P8 n" e" s: Q0 i$ Y
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
9 n, J+ h( g- Z. b9 y采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证/ n& T2 M" C8 k& H
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送, q! x7 r' O) K$ ~
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%$ g. _' W0 j+ M
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现: ~ r w! X; B) o! B
每秒 32~36 帧的识别速率和较高的手势识别率。
0 v9 L* K8 ~6 X
4 M# k, J3 m1 r% g' o6 G
9 n; W7 X$ f, N3 K' b/ U. F d3 l' J3 k! }$ [
1 Z& P- z7 {- o2 x
9 j- v+ P4 I* j a! D# g& `+ a
* ~* ?+ ?2 S4 E* f* y
| 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
