|
基于轻量级 OpenPose 改进的幻影机手势交互系统
5 h5 Z# w# F& |* g3 d
4 q, ]5 c/ u* ~
0 I# e& p" ^$ n2 B$ E1 {8 u K5 ?$ k2 R* ^
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实& e! ]% X: V p8 Y6 M' v' r7 `
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采/ S) r4 a) b) M5 _9 H1 {
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part 9 s9 X: Y, e4 g% I
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，. h# q8 e/ {2 R, H0 f, N
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
; ~# a6 F% J+ N% O: e/ B环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
8 m; n# O6 ^5 }0 ~% X/ q( D( X4 G至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
! L5 E0 ^ s" G% E; F1 X的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
1 _- h G$ f' `' h& ^( {每秒 32~36 帧的识别速率和较高的手势识别率。 & a8 {& y' \+ R. _! ]+ ^* d
% d7 s, J* g' a
2 P" Q+ |5 A$ h- e, I
E* w* x- V% O, t2 ]2 O& y s) }8 ^& l, x- N
7 E1 Q. _) K5 J) ~' q
7 o2 m& ?6 N5 ~6 l- d
| 
IP卡
狗仔卡
发表于 2020-11-3 16:58
转播
淘帖
分享
收藏
支持
反对
微信
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡
