关键词:
红外图像
可见光图像
图像融合
目标检测
摘要:
随着计算机视觉和图像处理技术的快速发展,图像融合在智能安防、自动驾驶等领域获得广泛应用。现有基于无监督的多模态图像融合方法难以在保持纹理信息的同时增强语义特征,使得融合结果对目标检测等高级视觉任务的适配性受限。此外,在实际应用中,由于环境光照条件的显著变化、复杂多变的气候影响以及背景环境的高度杂乱,导致融合图像出现严重视觉质量下降问题,进一步降低高级视觉任务的精度。
针对上述挑战,本文针对高级视觉任务优化的无监督红外与可见光图像融合研究进行展开,解决图像融合过程中的纹理退化与语义信息缺失问题。具体研究内容如下:
(1)为实现对提取特征的有效学习,本文提出了一种基于多级特征注入的红外与可见光图像融合方法。首先,本方法在多尺度特征提取过程中建立了多个融合通道分支,以捕获和融合来自源图像的多级特征信息。通过将生成的多级融合特征重新注入融合图像中,本方法实现了具有丰富复杂细节的融合结果。在特征融合阶段,模型优化了浅层和深层特征的融合方式,利用两者包含的不同信息设计定制融合规则,为最终的融合图像提供更多的浅层特征的结构信息和深层特征的语义信息。
(2)红外与可见光图像融合在满足人类视觉感知的同时服务于机器视觉。大多数的融合模型通过级联高级视觉网络鼓励融合图像包含更多语义信息。然而,仅依靠语义损失约束对于像素级的图像融合来说有效性确实有限。因此,本研究提出了一个交互式红外和可见光图像融合网络。其核心思想是使用来自目标检测网络的检测特征,通过特征自适应互连模块指导像素级融合,以获取更多目标语义信息。其中所提出的特征自适应互连模块的设计目标是从一开始就创建一个统一的特征空间,并执行特征转换,以弥合任务之间的特征差异。在交替训练过程中,融合损失和目标检测损失向特征自适应互连模块提供反馈,帮助其完成自我更新和优化。
(3)由于现实环境的复杂多变,尤其是在弱光条件下,可见光模态数据通常存在较大的不确定性。因此,针对低光场景,本方法提了一个耦合学习的融合框架,它通过交互驱动的低光增强为红外和可见光图像融合提供了适合照明的条件。具体而言,所提出的共享照明增强网络旨在深入研究和改进低光可见模态的固有照明特性。同时,场景恢复网络无缝利用共享照明增强网络提取的增强特征,将它们与红外图像的独特和互补属性相结合。得益于照明颜色估计器,融合先验用于优化增强过程,引导共享照明增强网络生成具有显著对比度和鲜艳色彩的增强结果。
(4)在雾霾环境中,可见图像的退化会削弱对比度和视觉感知。由此,本文提出了一种针对雾霾场景的红外和可见光图像融合方法。该方法首先基于大气散射模型构建了一个物理感知的场景雾霾穿透网络,使模型能够更好地模拟和理解雾霾形成过程。然后,该方法在训练数据中引入现有去雾方法生成的样本,并采用对比学习增强特征空间的可解释性,从而细化去雾结果。接下来,该方法设计了一个具有双重注意机制的融合网络,以过滤掉不相关的信息,同时通过通道和空间注意进行二次增强。该方法在融合视觉质量和定量评估方面均优于其他融合算法,同时还提高了高级视觉任务的决策准确性。