在深度图像的实时手势跟踪
摘要:专人跟踪是一种姿态的根本任务识别系统。大部分以前的作品所追踪的手在彩色图像
位置和肤色严重依赖信息。然而,颜色信息是很容易受到照明变化和肤色的差异各地不同
的人种族。此外,不能有效地鉴别面或从手等皮肤色状物体使用肤色时检测。在本文中,
我们提出了一个手势跟踪算法使用深度图像只,并且也是手点击检测方法自动初始化专人
跟踪。我们证明该深度的图像即可,有利于实时专人跟踪。的区域生长技术应用到段手区
域的深度图像。然后基于均值漂移算法准确地定位在分段的手中心手区域。实验结果表明
该跟踪算法运行在 300+的 FPS,和平均误差所跟踪的 3D 手,持仓量为小于 1 厘米。该
提出的方法使得大量的潜在应用到自然的人机交互(HCI),并且是足够的对于消费电子
产品,由于其低的嵌入式系统复杂性和低带宽要求。
引言
近年来,手势识别技术有备受关注计算机视觉和模式识别因为在人机交互应用的巨大潜
力。有本主题中的方法两大类。该第一类跟踪手的唯一的位置,无论是在二维或三维空间
[1],[2],[3],[4],而第二个跟踪和估计关节的手势[5],[6]。这两类有其潜在的应用前景。
在本文中,我们专注于第一类:跟踪在手,持仓三维空间。
大部分以前的作品中使用的 RGB 摄像头来探测和跟踪双手。在这些作品中,皮肤颜色和
运动信息是广泛使用。在[7],手区域中第一个分割结合运动和皮肤颜色的像素。他们假设,
脸是静态的,因此它可以被过滤掉由运动信息。然而,该算法可当失去跟踪有在附近(移
动皮肤色的物体如其他人的脸或手)。此外,也很难学到因为皮肤颜色一般皮肤模型有较
大的变化造成不同的光照条件和人类种族。依赖于肤色更多的作品中可以找到[1] [2] [8]。
一般来说,皮肤的颜色具有以下问题:(1)它是很难模拟的一般肤色模型; (2)它也很难
从基于肤色的人脸或胳膊区分手;(3)即使与运动信息的帮助下,跟踪器可被吸引到运动
的背景与皮肤般的色彩。
考虑到当用户与机器进行交互的事实,他们的手通常是在自己的身体的前面,以及背景
深度信息可因此提供了良好的信息手本地化。获得深度的一种方法信息是通过立体摄像机
Elmezain 等。结合皮肤颜色和 3D 深度图像分割手区域[9];曼德斯等。 [3]计算出的手概率
映射为一个从派生的联合概率函数的 Camshift 跟踪器深度和皮肤的颜色信息。深度信息不
仅能提高手的定位,也使三维手,持仓量,而不是二维位置估计。吉罗斯等。通过开发的
3D 手追踪两个二维肤色跟踪的结果是耦合独立于被收购的两个视频流运行立体视觉系统
[4]。使用立体声估计的深度数据匹配通常是嘈杂的立体相机本身是计算能力的要求。随着
时间 - 的飞行(TOF)激光器和其他基于 IR 的相机变得越来越经济实惠的消费电子产品,
另一种实用的方法获得深度数据是通过一系列传感器直接。伯格等人。所使用的 TOF 相机
获得的深度图像[10]及检测手基于深度和颜色的信息两者。
尽管肤色的局限性,它在几乎被用于所有以前的作品进行手部跟踪,即使在深度信息是
可用的。在本文中,我们为大家带来了一个问题:为进行手部跟踪确需肤色时深度信息?
在文献[11],南达和藤村只用深度相机提出了一个算法。他们提取深度边缘,创造了距离
变换(DT)图像。然后,作者装有一个椭圆形的轮廓上的 DT 图像进行手部跟踪。然而,
这种方法是不适用于实时系统,因为手可能有很大形状的变化和不同从而太多的轮廓形状
所必需的强大的专人跟踪。在我们的系统中,我们提出了一种基于深度图像的专人跟踪算
法只,并表明,该深度数据足够用于手跟踪。在我们的系统中,微软 Kinect 深度感应器是
就业。在 PC 上的实验结果表明,我们的方法可以在 QVGA(320×240)的深度达到 300+的