数学建模社区-数学中国

标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统 [打印本页]
作者: 杨利霞    时间: 2020-11-3 16:58
标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级 OpenPose 改进的幻影机手势交互系统

+ |3 o6 f- o3 A6 C: T9 p; ^1 |; k* S* Q- A) E" [

$ k9 r# }9 w8 T! e8 _  a2 @+ X  ?$ @, c3 R& `
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
3 q# ^/ E6 H+ q; k  M时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采
) u1 o/ ^( e6 g4 _! p用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part ; H, i* i( A5 G5 M& V7 m
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，# k0 m4 C6 T$ X( P$ {9 `
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
( P' G/ |# X: R: d8 R6 {6 t环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送2 x$ X. j& @, E' E6 N5 v, W
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%: d" e* q# {/ |: \
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现' S( ?' ^' G, v3 L5 K
每秒 32~36 帧的识别速率和较高的手势识别率。 % _# m5 n8 |3 D1 s- A6 H% N
. K5 F, D- a( `8 j2 f7 V# |+ B
. J, B* D2 {5 U7 I3 o6 n
  A) d7 ]- j# H* E' c  z. d

: k2 O/ W# V% ]" n7 ^6 S1 r" d3 a7 r

. g9 W6 ]: h3 K( U! S% ?! O; _, ]

基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf

1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5