卷积神经网络结合NSST的红外与可见光图像融合.docx

卷积神经网络结合NSST的红外与可见光图像融合 卷积神经网络结合NSST的红外与可见光图像融合是近年来图像融合领域的研究热点。红外图像和可见光图像在实际应用中都存在一些缺陷，例如红外图像的分辨率和对比度不如可见光图像，而可见光图像受到天气条件的影响，不能全天候工作。因此，如何将红外图像和可见光图像的互补信息进行有效融合，形成更加适合人类视觉认知系统的新图像，是一个亟待解决的问题。 卷积神经网络结合NSST的红外与可见光图像融合方法可以将红外图像和可见光图像的互补信息进行有效融合，形成更加适合人类视觉认知系统的新图像。该方法首先将红外图像输入卷积神经网络模型中，区分红外图像的目标与背景，然后结合调频显著性检测算法进行目标特征提取，得到目标显著图。利用NSST结合目标显著图，得到红外与可见光融合图像。实验结果表明，相比于传统多尺度图像融合方法，文中方法在融合效果的主客观评价上均有明显提高，融合图像更加清晰，细节更加丰富，更有利于观察者识别。 卷积神经网络在红外与可见光图像融合中的应用可以将红外目标图像的目标特征更好地保留，提高融合图像的质量。卷积神经网络的结构如图1所示，通过卷积层和池化层的组合，实现对红外目标图像特征的进一步提取。卷积神经网络的训练过程包括数据预处理、模型构建、损失函数定义、优化器选择等步骤。在数据预处理中，将红外图像分为大小16×16的子块，并以步长为16的滑动窗口遍历整个图像。在模型构建中，使用Pytorch框架，定义损失函数为交叉熵函数，使用随机梯度下降方式降低损失函数。模型的学习率设置为1×10−6，进行500次迭代。 NSST在红外与可见光图像融合中的应用可以将红外图像和可见光图像的互补信息进行有效融合，提高融合图像的质量。NSST是一种多尺度变换算法，可以对红外图像和可见光图像进行分解，提取出其低频和高频信息，然后将其进行融合，形成更加适合人类视觉认知系统的新图像。 卷积神经网络结合NSST的红外与可见光图像融合方法可以将红外图像和可见光图像的互补信息进行有效融合，提高融合图像的质量和可靠性。该方法可以广泛应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。