| 基于特征点的人体运动描述(数学建模)---（二）从复杂背景中提取运动人体 |
|
| 作者：Mercy.Wa… 文章来源：本站原创 点击数： 更新时间：2006-3-23 |
|
|
1.1、 人体运动分析的主要内容
人体运动分析的过程可以从如下的图中可以看出，
图1-1 人体运动分析的主要过程Fig. 1-1 The main process of human motion analysis
接下来，我们将具体介绍各个阶段所涉及的内容。
1.2.1 从复杂背景中提取运动人体
从复杂背景中提取运动人体就是从整幅图像中将对应的人体区域提取出来，它涉及到图像的分割和对人体区域判别两个问题。分割图像一般属于是低层次的特征提取，主要利用了人体的几何信息、颜色信息和运动信息。其中，几何信息包括身体的形状、轮廓、各部位的形状及相对位置等等;颜色信息指皮肤、衣服颜色以及它们的分布等：运动信息指的是身体各部位之间的运动相关性以及整体的运动轨迹。运动人体区域的提取(主要是对首帧的提取)为后面正确的人体跟踪奠定基础，它通常可以采用灰度阈值法、边缘检测算子法、差分法等方法来实现。
1.2.2 人体运动的跟踪和标定
人体运动的跟踪和标定是在连续的图像帧之间创建基于位置(position)，速度(velocity)、形状(shape)、纹理(texture)和色彩(color)等有关特征的对应匹配问题，它是人体运动跟踪与分析过程的关键，是进一步识别和理解人体运动行为的基础。其任务是从包含人体运动的图像序列中恢复人体的结构参数，并对人体运动参数进行估计。一般可分三步完成，首先涉及到对图像中各帧底层特征进行处理，如对身体部位的标定，关节点位置的检测与识别：然后在各个帧之间建立身体部位和关节点的特征对应关系:最后从这些特征对应中恢复人体的二维结构与运动信息。可以把这三步依次称为特征提取(feature extration)、特征对应(feature correspondence)和三维恢复(3D recovery)。
按照在特征对应过程中是否采用反映先验知识的形状模型，可以把人体运动的跟踪方法划分为基于模型的方法和非基于模型的方法两种。基于模型的方法是将图像与预先定义的模型相匹配，当实际图像序列与模型间的匹配关系建立之后，特征对应也就相应地完成了。非基于模型的方法是通过对各帧之间的位置、速度、色彩、纹理及经过各种变换后的特征参数预测和估计来建立帧之间的特征对应关系。基于模型和非基于模型方法的相同点都有特征提取、特征匹配和高层次处理三个阶段，而不同点是建立在连续帧之间的特征匹配处理上。对于基于模型跟踪，一旦图像与模型数据之间的匹配建立，特征匹配就可以自动获得；而对于非基于模型的跟踪，连续帧之间的特征匹配是在基于位置、速度、形状，纹理和颜色的特征估计和预测之上。由于运动人体是一个复杂的非刚体，三维人体运动极其复杂，一般都有上百个自由度，且各部位之间存在自遮挡(self-occlusion)现象，因此，在跟踪过程中一般采用基于模型的方法比较有效。当然，这两种方法也可以在不同层次上结合起来使用，以实现对复杂人体运动的跟踪。
基于模型的跟踪方法按照人体各部位的连接关系来建立人体模型，然后提取实际人体图像的特征，通过某种匹配算法，在模型与实际人体图像之间建立起对应关系，最终确定人体的结构参数。这种方法又可分为基于二维人体模型的跟踪方法和基于三维人体模型的跟踪方法。其中二维人体模型适用于跟踪人体动作比较单一的场合，由于其视频数据主要来源于单台摄像机，故算法相对简单；三维人体模型，则主要用于人体部位的精确定位，其虽对人体的动作没有限制，但需用多台摄像机进行多视角跟踪，因而计算量大，实现起来困难。但无论采用何种模型，建立了人体模型以后，必须借助于图像的特征和一定的匹配算法，如采用人体轮廓特征、区域特征、点特征或综合多种特征来对模型和实际图像进行匹配，以建立模型与实际图像之间的对应关系。
当得到人体运动的二维序列图像跟踪结果后，这时就需要恢复人体三维结构，将二维运动恢复成实际空间的三维运动，从而达到精确跟踪人体，继而进行分析三维人体运动的目的。恢复人体三维结构通常要涉及到摄像机标定问题，以得到拍摄时所用摄像机的参数。根据实际拍摄过程中所用摄像机数目的不同，运动跟踪可分为单摄像机法和多摄像机法两种(即单目视觉和多目视觉)。
单摄像机法只用一台摄像机摄像，定标简单，计算量小，但对人体复杂动作和长时间的部位重叠不能准确估计；而多摄像机法则在不同的方位放置多台摄像机，当物体运动时，如果目标从一个摄像机的视野中消失，它可以被系统中的另一台摄像机捕捉到。采用多摄像机法的一个难题是不同方位摄像机跟踪到的特征图像之间的匹配十分困难。这是因为这些特征是在不同的坐标系中记录下来的，在相互匹配之前，所要跟踪的特征都必须转换为相同的坐标系，这就要涉及到多摄像机标定问题。多摄像机法理论上能较好地解决因出现重叠与身体自遮挡时单摄像机估计不准的问题，但多摄像机的标定复杂，信息冗余，标定误差在一定程度上制约了跟踪目标的精度。
在人体运动的跟踪中常用的数学工具有卡尔曼滤波(Kalman filtering)
和Meanshift算法等等。其中卡尔曼滤波是基于高斯分布的状态预测方法，可实时地进行跟踪预测。MeanShift算法是基于样本估计的算法，可以进行实时地跟踪。
1.2.3 人体行为的识别和理解
在图像序列中建立了连续帧间的特征对应关系后，下一步就是去理解整个图像序列中这些特征的含义，从而理解人体的运动和行为。它是对人的运动进行分析和识别，并用自然语言等加以描述。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。由此可见，行为理解的关键问题是如何从学习样本中获取参考行为序列。通常进行人体行为理解时采用的方法有模板匹配法(template matching)，和状态空间法(state space)]两种。
模板匹配法是将图像中获得的静态姿态特征(如关节点的位置和角度等)的变化同预先存放的动作库相比较，找到匹配的动作，完成对图像中人体行为的识别;状态空间法是将每一个静态的姿态特征作为一个状态，从而一种行为可以由多个状态间的转移形成的路径来表示，识别过程是计算状态在各条路径上转移的可能性，取其中的最大值作为行为判别的依据。
1.3 国内外研究方法与发展趋势
在人体运动分析这一个领域，国外的发展比较迅速，国外研究的一般方法是在跟踪的开始要确定图像序列中首帧的人体位置，后续序列中人体目标的确定可依赖于人体运动的连续性原则。首帧人体位置的确定目前有两种方法：一种方法是用手工标注人体的特征点(如关节点)，这不利于人体跟踪的自动化;另一种方法是去除人体以外的背景后，确定身体的各个部位，这种方法可部分实现自动化，但对于人体这样具有关节旋转运动的非刚体来说，难以彻底地去除背景。在后续人体运动跟踪与三维重构时，有基于模型的方法和非基于模型的方法。基于模型的典型方法之一是事先建立人体3D模型，将模型与运动序列的首帧匹配，在后续帧的跟踪过程中，采用人体运动参数限制等条件，用卡尔曼滤波器等方法进一步估计后续帧的运动参数，调整模型，使模型与之匹配，最终构造出模拟人体运动的模型序列侧。这种方法的缺点是后续帧的跟踪存在累计误差，不能跟踪长序列图像。非基于模型的典型方法事先不需建立人体模型，而是根据人体运动呈现的几何、纹理、色彩等信息，采用马尔可夫链估计人体运动的状态，其缺点在于人体运动姿态很难用有限个状态描述，依赖先验知识，难以完成准确的定位。两种重构方法在对人体运动的观察时均可采用单目视觉和多目视觉。单目视觉只用一台摄像机摄像，定标简单，计算量小，但对人体复杂动作和长时间的部位重叠不能准确估计;而多目视觉利用设置在不同观测点的多台摄像机摄取图像，实现信息融合，理论上能较好地解决因出现重叠与身体自遮挡时单目视觉估计不准的问题，但多个摄像机的标定复杂，信息冗余，标定误差在一定程度上制约了跟踪目标的精度。虽然存在这样或那样的问题，但从国外发展的趋势上看，跟踪人体运动的类型由简单的周期性运动如步行、跑步过渡到对人体自由运动乃至复杂的体操动作的跟踪与分析;跟踪的视点从单目视觉到多目视觉。跟踪时由人工干预逐步向自动化标注的方向过渡。
根据人体建模的方法可分为如下方式：
棍状建模：根据人体骨架的特征，将人体由一系列棍状的骨骼构成，一般由13－18个骨架点构成。
2D条带状建模：从平面上理解人体为条带状，躯干与肢体分别由不同的条带组成。
3D柱状建模：用圆柱形的结构模拟身体部分，这种建模主要用于多摄像头跟踪。
肌肉建模：按照人体由各种肌肉构成，一种更复杂的建模方法[2]
国内研究有中科院研究所、微软亚洲研究院、浙江大学。中科院主要涉及到人体运动分析，应用在国家队跳水运动训练上，同时有一个专门的虚拟人实验室，研究从人体建模、人体跟踪到衣服模拟等等。微软亚洲研究院多媒体研究用于高级人机交互，而浙江大学主要方向是人体动画方向，替代传统运动捕捉设备，从视频流提取动画信息。目前国内的这些研究还是基于单目视觉基础。
人体运动分析的复杂性和应用的广泛性吸引了国内外众多的研究者，美国、德国、日本的多所大学和科研机构长期获得各方面的资助，开展对人体运动分析的研究工作，IEEE也定期举办关于人体运动分析的专题会议，此外，国际上一些权威期刊都将人的运动分析研究作为主题内容之一，以便为该领域的研究人员提供了更多的交流机会，可见国际上对该项研究的高度重视。可以想象，将来也必定会有越来越多的研究者投身其中，从事这方面的研究工作。
|
|
| 文章录入：softwaremercy 责任编辑：madio |
上一篇文章： 基于特征点的人体运动描述(数学建模)---（一）人体运动跟踪概述
下一篇文章： 基于特征点的人体运动描述(数学建模)---（三）利用特征点实现人体运动跟踪 |
|
| 【发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口】 |
|
