|
基于轻量级 OpenPose 改进的幻影机手势交互系统
& [. B4 [; M- Z1 B: ~3 \: b' U
/ w0 h3 ^1 l7 ~5 s! b0 o& b* c7 Q2 W- v& e& P+ t9 E/ C
4 C) A2 d b" ^. M) T0 p
目前人机交互方式多以键盘鼠标为主,而基于深度学习手势识别的交互方式算法准确率不高,且实
9 s2 G. ^% p: ]时性和系统稳定性均有待提升。提出一种新颖的针对轻量级 OpenPose 进行改进的幻影机手势交互系统。采0 `$ n" W7 i* e' S! ^
用轻量级 OpenPose 将人手简化建模为 21 个关键点,以 MobileNetV1 作为基础模型,应用部分亲和域(Part * ^" C8 m2 I9 w
Affinity Fields, PAF)方法实现人手关键点的检测并画出简化骨骼图。为进一步提升人机交互系统的实时性,% y4 s# A9 x, Q# @# N( L
采用幻影模块(Ghost Module)对卷积层进行降维,用更少的硬件资源取得同样的识别效果。最后搭建验证! y0 C* X% u$ o; a5 u1 |1 V7 D4 I) _/ H- J
环境,根据画出的人手骨骼图进行模式匹配,根据匹配识别结果生成交互控制指令,经由蓝牙通讯将指令传送
. v+ A& c: Y, j, Q2 A; H+ h至 Arduino UNO 平台控制小车实现交互响应。经过初步训练后,该系统在 coco2017 验证集上能实现 58.7%
- m5 S; N9 R, [ C: Z! M的准确率,保持了原始 OpenPose 网络和轻量 OpenPose 网络的人手关键点识别效果,在家用 PC 机上可实现
+ w# @2 q6 c* f s/ X3 l6 c! h- |每秒 32~36 帧的识别速率和较高的手势识别率。
* F8 h+ g" d7 W+ t, _! F1 y2 ^$ @( M) g, c# F3 k4 y$ m
7 A& R: R# `8 J2 M
- N+ [, k! ? { _
+ t5 [# Y1 k) C6 v% k2 t- V, _3 M7 W$ o' Z$ `5 g, H) z9 |
( b6 x" a, R4 K7 \
|