数学建模社区-数学中国
标题:
基于轻量级 OpenPose 改进的幻影机手势交互系统
[打印本页]
作者:
杨利霞
时间:
2020-11-3 16:58
标题:
基于轻量级 OpenPose 改进的幻影机手势交互系统
基于轻量级
OpenPose
改进的幻影机手势交互系统
# H. X. l8 u" E4 @' ^7 j5 k
/ J8 D9 d: s: v) L; c
2 b$ C3 G+ ~5 u. } i/ Y
- P7 a. w- R$ ^/ X( I/ P' U
目前人机交互方式多以键盘鼠标为主，而基于深度学习手势识别的交互方式算法准确率不高，且实
0 A( ?( | ]9 I" E7 j; S- N' }, V
时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采
- _- L7 I5 D. t& N- {
用轻量级 OpenPose 将人手简化建模为 21 个关键点，以 MobileNetV1 作为基础模型，应用部分亲和域（Part
- G, C6 v; U& Q& C
Affinity Fields, PAF）方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性，
& z& G: w9 r: T1 l6 A, J
采用幻影模块（Ghost Module）对卷积层进行降维，用更少的硬件资源取得同样的识别效果。最后搭建验证
. `7 J. u9 S, L6 p' J6 V; P; v# x
环境,根据画出的人手骨骼图进行模式匹配，根据匹配识别结果生成交互控制指令，经由蓝牙通讯将指令传送
3 S4 W# D+ o* ^3 f+ g0 q7 U
至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后，该系统在 coco2017 验证集上能实现 58.7%
: a0 c# l* Z! `8 c
的准确率，保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果，在家用 PC 机上可实现
+ S# G* ?% G. C8 N/ l6 P j
每秒 32~36 帧的识别速率和较高的手势识别率。
8 @! h5 s0 @" Y# }
8 P" _: p1 d7 X2 ~
2 Z( K7 Y; S0 e9 d( d3 E( o/ Y2 H1 {5 z
* ~* u6 H/ A7 ]$ o8 L- j
- `2 U5 ~8 o% _: @' e
4 [+ S0 e6 O0 Y
+ \) [/ e% D! b7 O8 S
基于轻量级 OpenPose 改进的幻影机手势交互系统.pdf
2020-11-3 16:56 上传
点击文件名下载附件
下载积分: 体力 -2 点
1.47 MB, 下载次数: 0, 下载积分: 体力 -2 点
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
