数学建模社区-数学中国

标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统 [打印本页]
作者: 杨利霞    时间: 2020-11-3 16:58
标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级 OpenPose 改进的幻影机手势交互系统
% I2 D1 }4 A- @' C, h
2 D& V& F6 T# ^# ]; I: T  C! R

% b) J4 U, o4 p5 m4 ^  y
3 ~! @) w0 r; l3 @6 Z/ H目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实9 s- G- D1 ~- G' h/ H0 b7 M
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采: h0 X7 u+ I# H2 X1 R3 p6 i4 m" f
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
% c  C: o# ]/ d5 mAffinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，, D  b- ], |! I
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证' A0 o. j7 w1 a( e3 u$ r
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
" o/ x3 U+ c0 o: ]3 h8 m1 p. ^' K至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%7 b9 l  d, Q/ y: M3 d
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现8 ?( c% f5 p1 W7 _" E
每秒 32~36 帧的识别速率和较高的手势识别率。
  ^7 I2 M! u* J7 Y7 S0 L: T2 y' p( p
4 D+ ^0 o9 N5 a
) d2 p: l0 d8 V1 m$ Q/ X& i( M& l
! N2 p6 {- s+ D6 a, w0 T1 b
& m0 V: P  A# z
4 \. L" j; W2 P7 H4 b
3 {( J7 }5 i& X; c

基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf

1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5