关键词:
多源遥感图像
图像融合
目标检测
YOLO
U2Fusion
摘要:
随着遥感技术的不断发展,多源遥感图像融合及目标检测在军事侦察、灾害监测、环境监测等领域发挥着愈发重要的作用。其中,合成孔径雷达(Synthetic Aperture Radar,SAR)图像与可见光图像作为最常用的两种遥感数据类型,各自具有独特的优势和局限性。SAR图像因其特殊的成像原理,能够在全天候、全天时的条件下稳定工作,不易受到天气变化和光照条件的影响。然而,其成像过程中往往伴随斑点噪声。相比之下,可见光图像能够提供更丰富的纹理细节与语义信息,但易受到云层遮挡、光照变化等因素的干扰。因此,通过多源图像融合技术,将SAR图像和可见光图像的优势互补,生成兼具两者特征的高质量融合图像,并应用于目标检测任务,有助于提升遥感目标检测的准确性和鲁棒性。
目前,针对SAR-可见光图像融合的研究仍较为有限,如何高质量地提取两类图像的特征并进行融合仍是该领域的研究重点。此外,尽管近年来目标检测技术取得了显著进展,但现有目标检测网络在遥感图像小目标检测方面仍存在一定的不足,如目标尺寸小、对比度低、背景复杂等问题。因此,如何设计适用于遥感场景的小目标检测算法,也是一个待解决的研究课题。
针对上述问题,本文的主要工作如下:(1)本文基于U2Fusion模型,结合多尺度特征提取模块以及针对多源图像特征信息的特征增强模块,设计了一种面向SAR-可见光图像融合的网络模型MDFusion,MDFusion能够有效提取SAR图像与可见光图像的特征并加以融合。经过实验验证,MDFusion在SEN1-2数据集上相较于现有方法在不同图像评估指标上均有提升。(2)本文在YOLOv8的基础上,通过借鉴Advanced-YOLO的设计理念并引入HWD模块设计了面向小目标检测的改进目标检测网络MD-YOLO,该网络在特征提取过程中通过尽可能保留图像的高频信息从而提升对小目标的检测能力,实验表明MD-YOLO在相同数据集上虽无法在所有评估指标上均超越现有方法,但整体检测能力最佳。此外,验证MDFusion对于MD-YOLO在小目标检测增益的实验表明,融合后的图像相较融合前可见光图像整体Re指标更高,具备更强的小目标检出能力,证明了多源图像融合对小目标检测的正向促进作用。(3)本文设计并实现了一个多源遥感图像处理系统,集成了多源遥感图像融合与小目标检测功能。该系统的构建进一步验证了本文算法的有效性,并证明了其在实际应用场景中的可行性和应用价值。