基于单目图像的人脸深度估计.pdf

"基于单目图像的人脸深度估计" 人脸深度估计是计算机视觉中的一项基础任务，对于三维人脸重建、人脸识别等方面都有着广泛的应用前景。近年来，深度学习的引入有效解决了人工标注特征和人脸几何关系的典型假设问题。 早期的方法中，Saxena等人于2005年首次提出监督型学习方法，将图像划分为很多极小的区域（超像素块）并利用马尔可夫随机场（MRF）来推断区域的位置和方向。该方法改进后被扩展成为了视觉效果更好的3D重建方法Make3D。之后Liu B等人通过加入对语义信息的考量，在深度估计上取得了更好的效果。 近年来，Eigen D等人提出了一种由两个部分组成的多尺度卷积神经网络，第一部分先从图像全局出发得到一个粗糙的全局结构，再由第二部分通过局部特征对之前的结果进行细部优化。但是卷积神经网络由于连续的下采样操作如池化、卷积，导致了图像的细节特征丢失。 Lin G等人提出的RefineNet很有效地克服了这个问题，在同为像素级任务的图像语义分割中取得了很好的效果。Liu F等人则将问题表述为条件随机场模型，将像素点之间的关系及RGB图像与深度图之间的关系参数化，通过求解概率图模型来估计人脸深度。 本文采用RefineNet结合条件随机场的方法实现由单目图像到人脸图像的估计。算法将问题表述为求解条件随机场的最大化后验概率问题，并以此构建损失层，可实现整个网络端到端的训练，之后通过求解条件随机场的最大化后验概率，求得深度图像的最优解。 通过实验，算法在NYU Depth V2数据集上得到验证，准确度较改进前算法具有明显提高，表明了算法的有效性。 本文的贡献在于： 1. 采用Residual connection将下采样过程中各层信息向前传递，避免了图像细节的丢失。 2. 将问题表述为求解条件随机场的最大化后验概率问题，实现了整个网络端到端的训练。 3. 实验结果表明，算法在NYU Depth V2数据集上取得了很好的效果。 本文提出了一种基于RefineNet和条件随机场的深度学习算法，实现了由单目图像到人脸图像的估计，具有很高的准确度和实用价值。