数学建模社区-数学中国

标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统 [打印本页]
作者: 杨利霞    时间: 2020-11-3 16:58
标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级 OpenPose 改进的幻影机手势交互系统
. G; K0 \; t. I- i5 L. r

0 v) X1 Z; b. @4 e: q% }
6 r2 j0 F/ M. _+ D
+ E- Y9 @+ Q6 h8 ]0 h; @  P' ^& |4 |目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
) G; Y- ~1 b, [时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采5 c1 }1 j4 d  d! Z
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
& n( U; [/ M5 i1 r6 z* z' j3 HAffinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
$ N- f7 ?0 \' C, M7 G7 V# C采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证7 G: P" `7 z$ H
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送' Q( K/ z  [8 U! P
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
6 Y4 N+ t3 m0 I6 Z. w; D' E的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现. }8 g9 E# H$ X, s- w' |
每秒 32~36 帧的识别速率和较高的手势识别率。 6 N0 d5 J' U+ d4 v8 [; b

, A1 U! J3 d- h0 l" o" F& o# w
) `, K- ^, g/ C1 E, Q
9 H- T: o8 S5 E: b
  {8 G5 g# r5 B4 W6 ^: [% O" c; Q* c( [# b! r- T) H2 s

# t2 x3 K9 k9 R

基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf

1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5