数学建模社区-数学中国

标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统 [打印本页]
作者: 杨利霞    时间: 2020-11-3 16:58
标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级 OpenPose 改进的幻影机手势交互系统

0 r  p* s/ f( x  n! N7 n1 \. q# j# [* T1 |
* w/ f9 n: G3 x4 d

4 I7 i  Q4 |6 ~( f4 z* q7 u2 k2 @9 d# o目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实, p- z8 D2 L0 Q/ \
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采) `" _1 e/ i% P: o
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part 9 Q! g5 o. l# N- l* k- L
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，. m& I% r+ y. \
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
* {( r  {9 e$ n2 W9 [环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
# C" A9 M. A, y4 P9 p' Q/ M至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
( g8 N( E0 I7 s- @3 e; g( |0 X& a0 D的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
1 T8 `1 h2 d0 \. M$ T每秒 32~36 帧的识别速率和较高的手势识别率。
5 L  T: Z* u7 {$ l
5 |- W3 G/ k3 @" K, G4 t8 F* {! Z& R7 x2 g& X# @. b3 E( M

1 K: P) N+ @: `: ?+ t  z+ z+ r" }$ X- Z; o  |) |

& ?$ W3 O5 q; D; A6 l
" x9 o; I& P1 E! z, y3 \# l

基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf

1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5