用于无监督域适应的深度对抗重构分类网络.docx

无监督域适应的深度对抗重构分类网络 本文介绍了一种用于无监督域适应的深度对抗重构分类网络。该网络旨在解决传统深度神经网络在不同域之间的泛化性差的问题，例如在 ImageNet 数据集中测试达到的高准确率，但是在其他域中的表现却很差。 深度神经网络的强大特征表示能力使其在机器学习领域中扮演着重要的角色。但是，传统的深度网络模型只建立在单个域上，难以获得可迁移的深度表示。这是因为深度神经网络的较高准确率依赖于大量的带有人工标签的数据集来进行训练，而对原始数据集进行人工标注的成本是十分昂贵的。 此外，计算机视觉中的各种因素（例如分辨率、视点、天气状况等）会造成训练集和测试集的数据分布不匹配，传统的深度神经网络是基于数据同分布假设的，这样训练出来的网络会在训练集上表现出良好的效果，但是在测试集上表现出的分类性能会大大降低。 域适应算法通过使用未标记的测试数据有效地解决了上述问题，未标记的测试数据为分类器的训练提供了辅助信息，与仅使用训练数据来学习的分类器相比精度有了明显的提高，从而避免了对测试数据重新进行标记的工作。 本文关注的是基于模型参数关系的方法，该方法的主要任务是将源域和目标域的数据从原始特征空间映射到一个新的特征空间。在该特征空间中，源域数据和目标域数据的数据分布是相同的。 通过利用机器学习算法对带有标签的源域数据进行分类，从而实现对未被标注的目标域数据进行分类。国内外学者已提出很多域适应方法，例如基于样本选择的方法、基于模型参数关系的方法和基于特征变换的方法。 在该领域中，迁移学习或域适应方法已经引起了广泛的关注，例如 Yosinski 等人在 AlexNet 网络上证明了深度学习的可迁移性。研究表明，深度学习能够很好地学习到可迁移的数据表示形式，但是这种数据表示形式只能够减少而不能消除跨域之间的差异。 实际上，子空间对齐算法通过计算源域子空间特征和目标域子空间特征之间的距离来衡量不同域之间的分布差异，这种差异可以通过学习子空间之间的特征变换来对齐源域和目标域的特征进行消除。 深度学习已经被证明在视觉识别上具有良好的效果，在领域适应方面发挥着重要的作用，例如 Glorot 等人提出的去噪自动编码器是一种简单的全连接网络，解决了大规模的情感分类问题。 此外，卷积神经网络在视觉识别领域具有更为领先的性能。Chopra 等人通过对多个卷积自动编码器进行分层训练，同时用目标域样本逐渐替换源域样本，沿着源域和目标域之间的“插值路径”连续学习多个分布的中间表示。 Ghifary 通过在深度网络中嵌入最大均值差异正则化来减少不同域样本之间的隐藏层表示的分布不匹配问题。 You 等人提出利用贝叶斯法则计算出 p(ys|yt)，以此得出不同标签空间之间的映射关系，通过协同调优的方式来优化网络以此完成分布适配的问题。 2016 年，Ganin 和 Ustinova 等人提出了领域对抗网络的模型，该模型通过对抗学习的思想来对齐源域和目标域的数据分布。虽然该模型完成了从源域到目标域的知识迁移，但是该模型在对齐域间数据分布时存在一些缺陷。 本文提出了一种用于无监督域适应的深度对抗重构分类网络，该网络旨在解决传统深度神经网络在不同域之间的泛化性差的问题，并且可以应用于各种计算机视觉领域。