数学建模社区-数学中国

标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统 [打印本页]
作者: 杨利霞    时间: 2020-11-3 16:58
标题: 基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级 OpenPose 改进的幻影机手势交互系统
8 d( Z8 L+ p/ n! C1 A' p
1 n8 ~5 {" R7 h, _) @8 [
, j; ]& j: d( U# T) g
" o  y- E) t4 L' @& Q/ V
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
! \( j, R- r/ S) @2 [时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采3 E, ]1 @/ D7 I& H% I8 ?% p
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
- @( e- f# C* u& E$ HAffinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，; L6 z) w$ T3 Z/ E" ^
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
& }. Y% `2 r# Q, _2 X6 T* e环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
) P) X9 z4 F; A至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%4 v( u1 Z, i  J# ~; V/ v
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现& n% e8 f- Q" m% F& b. l
每秒 32~36 帧的识别速率和较高的手势识别率。 9 `8 j& F% p4 I/ o1 `

0 N3 x  ]3 x% t- |
& g7 t4 U) b+ A/ ^5 ], N' a7 Z; w8 D; ]6 {5 E! J6 f
5 @1 G+ A! [( M# I: B
8 G: ^# U. {% i
7 j% d1 a/ Q8 J1 [1 U

基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf

1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5