关键词： 遥感图像处理   有向目标检测   有向目标表示   网络学习与优化   端到端检测网络  

摘要： 有向目标检测技术是遥感图像解译的关键性步骤和基础性研究,同时在智能交通、智慧农业、国防监测和智慧医疗等诸多领域具有重要的理论意义和应用价值。作为水平目标检测的深化拓展,有向目标检测任务能够提供更为关键的目标方向性信息,成为了遥感图像处理领域的研究热点。然而,遥感图像中存在目标方向各异,尺度多样性,背景噪声干扰以及宽高比变化大等复杂分布特性,导致有向目标检测面临目标漏检、类别混淆、定位困难和方向预测不精准等关键性问题。研究高精度的有向目标检测模型成为计算机视觉领域和遥感技术应用的迫切需求。因此,本文围绕上述问题开展遥感图像有向目标检测理论与方法研究,以构建高精度和高效的有向目标检测模型为总体目标,从有向目标表征与特征提取、网络结构设计和网络学习优化三方面进行了研究。具体研究内容和主要创新点可概括为以下几个方面: (1)针对遥感目标特征提取中背景噪声干扰导致的定位困难问题,开展了基于双角度旋转线对象表示的有向目标检测研究。该方法设计了一对自适应且可学习旋转线对象表示,通过灵活地组合并自适应旋转感知有向目标的方向信息。然后,构建了方向引导特征编码器,编码每条旋转线上具有判别力的目标特征,以减轻由重叠目标引起的背景噪声。同时,提出了双角度解码器独立地引导每条旋转线的,以适应有向目标的变形。基于方向引导的编码特征,双角度解码器能够引导每条旋转线的自适应旋转,进一步增强双角度旋转线目标表示的表征能力,从而提升遥感有向目标检测的平均精度均值。 (2)针对遥感目标尺度多样且有向目标检测感受野有限导致的类别混淆和漏检问题,开展了角度解耦和一致性优化策略的端到端有向目标检测网络研究。该方法首先构建了基于Transformer架构的端到端有向目标检测基线,提升网络全局上下文建模能力的同时克服对后处理机制的依赖。设计角度解耦预测模块将角度预测与边界框回归解耦,避免编码器中级联式角度预测产生的误差累计。然后,设计了角度编码一致性优化策略使用非线性函数进行角度编解码,缓解角度边界情况下不一致的匹配代价。引入查询多样性损失促进网络多样化的目标查询,从而避免冗余预测并进一步提高预测准确性。 (3)针对端到端有向目标检测难以感知遥感目标间实例级几何相关性的问题,开展了基于几何信息编码的端到端有向目标检测方法研究。该方法首先设计了几何信息编码器,通过对解码器前后层输出的预测框的角度、位置和尺寸等几何信息进行相关性建模,保留跨解码器层的几何信息先验。进一步地,设计了一个渐进式几何关系解码器,将上一层解码器的几何信息先验作为下一层解码器自注意力谱的权重。该方法为自注意力层引入跨层预测的空间位置和方向信息,促进不同编码器层预测之间的几何先验信息交互,从而更有效地捕捉目标之间的位置和方向关系。 (4)针对分类与定位任务联合优化困难的问题,开展了质量对齐匹配与优化的有向目标检测研究。该方法首先设计了质量对齐代价函数,通过分类和定位的联合表达进行一对一匹配,优先将定位质量高的样本识别为正样本。然后,利用指数函数调制定位和分类得分,并采用动态匹配策略优化样本分配。进一步地,该方法设计了质量对齐损失,以定位度量监督分类预测得分,确保分类和定位任务在训练中协同优化。质量对齐代价使高定位质量预测更易被识别为正样本,质量对齐损失则联合优化分类和定位任务,进而提升网络的训练效率和识别准确性。 (5)针对不同宽高比有向目标的角度敏感性差异导致的次优学习瓶颈问题,开展了宽高比感知优化的角度回归有向目标检测研究。该方法首先设计了宽高比自适应匹配策略,差异化调整不同宽高比目标的匹配代价,防止大宽高比预测在匹配中被过度抑制。进一步设计了宽高比自适应损失,动态调整不同宽高比预测的损失代价,避免损失计算的次优优化。同时,该方法设计了宽高比感知的角度周期性编码模块,防止角度周期性导致的角度损失突变。并根据宽高比对角度预测的匹配代价和损失进行加权,动态调节角度预测对整体匹配代价与损失的影响,进一步优化网络学习目标从而提升检测精度。

关键词： 矿井安全   目标检测   注意力机制   轻量化   YOLO  

摘要： 在人工广泛运用的今天,矿井安全监测领域也逐渐走向智能化。但是矿井作业环境具有一定的特殊性,一方面由于矿井中光照条件的急剧变化和烟尘的严重干扰,再加上目标尺寸小和背景动态的复杂性,常规的深度学习检测算法通常很难实现高精度的检测;另一方面一些矿井还没有完成智能化升级工作,其监控系统大多依赖于计算资源受限的嵌入式设备,传统模型计算复杂度大、能耗高的特点给实时监测带来了困难。如何解决这两方面问题是本论文的研究重点。为了应对上述挑战,本论文以YOLOv8模型为基础,从提高矿井目标检测精度和模型轻量化两方面对YOLOv8进行了增强,其主要的研究工作与创新点如下: 1.针对矿井环境光照变化强烈和烟尘干扰的问题,提出了YOLOv8-ED模型。将EMA注意力机制引入骨干网络中,通过对通道维度的重组和跨通道语义关系建模,增强了模型对关键区域和多尺度语义信息的感知能力,有效提升了在低光照、高遮挡等复杂环境下的目标识别精度。同时利用Dy Head对检测头进行了替换,该结构通过在尺度、空间及任务三个维度上进行统一建模与动态特征融合,提高了模型对小目标、遮挡目标和背景扰动的适应能力。实验数据显示,YOLOv8-ED在VOC2012和矿井数据集上与原始算法相比,m AP@0.5分别提高了2.0%和3.2%,更适合用于矿井安全监测的应用场景。 2.针对智能化程度不高、监控系统计算资源受限的矿井,提出了一种轻量化YOLOv8-BG模型。模型采用Bi FPN作为颈部特征融合模块,通过自适应加权策略高效整合多层级特征,提升了特征重用效率与跨尺度信息流通能力,有效减少了无效计算冗余。此外,检测头引入基于Group Conv的轻量化结构,将传统卷积分组处理以降低参数维度和计算成本,同时保持检测精度与表示能力。实验数据显示,YOLOv8-BG在维持检测准确性的基础上,模型的参数数量和计算量分别减少了46.5%和37.8%,在计算效率和检测性能之间取得了较好的兼顾,适合矿井监控系统实际部署需要。 3.针对矿井目标检测算法的应用问题,在YOLOv8增强算法和Py Qt基础上,研发了矿井目标检测系统。采用前后端分离技术,前端以Py Qt为核心实现检测的可视化,后端使用YOLOv8-ED模型和YOLOv8-BG模型实现高效的目标检测并支持实时视频流和静态图像的分析。系统还具有日志记录及管理功能、目标跟踪等功能。经过测试,系统能够稳定高效地运行,可为矿井智能监测和控制提供可靠的技术支撑,促进矿井安全领域中目标检测技术的发展。 图[40]表[7]参[69]

关键词： 受困人员搜寻   部分遮挡环境   红外热成像   无人机   目标检测   数据集  

摘要： 随着户外探险活动的普及,户外受困人员搜寻任务变得愈发重要。传统的搜救方法如搜救犬和人工搜寻存在效率低下、易受环境干扰等局限性,难以满足复杂救援场景的需求。无人机凭借其机动灵活、视野广阔等优势,在受困人员搜寻领域展现出巨大潜力。然而,在部分遮挡环境下,如丛林等复杂地形中,无人机搭载的可见光相机难以准确识别受困人员,而红外热成像相机虽能检测人体热辐射信号,但对遮挡目标的识别准确率较低。为解决这一难题,提高部分遮挡环境下无人机受困人员搜寻的效率和准确性,本文深入研究了部分遮挡环境下无人机对受困人员搜寻的关键技术。 首先,本文构建了首个基于无人机的红外热成像部分遮挡人体目标检测数据集(POP dataset)。该数据集在不同飞行高度(约30米、50米和70米)及不同天气条件(多云、阴天、雾天和晴天)下采集了8768张红外热成像图像,涵盖了多种复杂环境下的部分遮挡人体目标。数据集的构建过程包括图像的采集、标注和验证,确保了数据的多样性和准确性。经过详细标注并多重校验,共有25811个标注框。通过对数据集的详细分析,揭示了不同遮挡程度对目标检测性能的影响,为后续算法的改进提供了数据支持。 其次,针对YOLOv10目标检测网络在小目标和部分遮挡目标检测方面的不足,本文提出了YOLO-RFSNet模型。该模型对YOLOv10的主干网络、颈部和检测头进行了针对性地改进。通过引入Rep MSAttn模块来增强多尺度特征提取能力,采用Full Scale Connect模块进行多尺度特征融合,同时结合SCDetect模块实现分类信息的共享。在m AP@0.5:0.95指标中YOLO-RFSNet相较于YOLOv10s模型提高了3个百分点,相较于YOLOv8s模型提高了4个百分点,结果表明这些改进显著提升了模型对小目标和部分遮挡目标的检测精度,使其在真实的复杂且存在部分遮挡环境下具有更好的鲁棒性和适应性。 最后,基于YOLO-RFSNet模型,本文设计并实现了一个基于YOLO-RFSNet的部分遮挡环境下受困人员搜寻系统。该系统集成了YOLO-RFSNet模型,能够自动地对无人机拍摄的图像和视频进行受困人员目标检测,并将结果可视化展示。实验验证表明,该系统能够快速、准确地执行目标识别任务,为灾后救援、野外寻人等多种民用、军用应用场景提供智能化、高可靠的无人化受困人员搜寻解决方案。

关键词： 水面漂浮物   深度学习   目标检测   YOLOv8   YOLOv11   水面漂浮物检测系统  

摘要： 水面漂浮物不仅破坏水域生态平衡,还威胁水利设施安全,影响供水调度、水力发电及水产养殖。因此,开发高效可靠的水面漂浮物检测技术对生态保护和工程安全至关重要。尽管基于深度学习的目标检测技术近年来取得突破性进展,但在实际应用中仍存在一些问题:(1)水面漂浮物种类多且尺寸差异大,现有模型在实际应用中常面临漏检和误检等问题;(2)现有公开数据集样本有限,复杂环境下的数据不足,影响算法泛化性;(3)复杂水面环境下,小型漂浮物检测精度较低。针对上述问题,本文提出两种改进算法,并通过应用系统开发验证算法实际部署效果,具体研究如下: (1)针对水面漂浮物种类的多样性,本文基于改进YOLOv8算法,提出了一种基于多层特征融合与滑动损失优化的网络模型FTFP-YOLOv8Net。首先,设计了一个新型特征融合模块Fusion SPPF,增强模型的多尺度特征表达能力;其次,引入三重注意力机制Triplet Attention,强化关键区域特征权重;同时,创新性提出F-Slide Loss动态损失策略,提升模型对困难样本的学习效率;最后,在检测头引入部分卷积PConv,在保证精度的同时降低模型参数。此外,为了解决数据集某些类别过少的问题,采用几何变换和噪声注入等数据增强方法,构建了包含11类漂浮物的数据集MFW-Dataset。实验结果表明,改进后的模型在MFW-Dataset上的检测精度提升3.9个百分点。 (2)针对水面复杂环境的小型漂浮物,本文提出了一种目标检测模型DSS-YOLOv11Net。该模型基于YOLOv11,主干网络中引入了DSConv作为卷积计算单元,降低了计算开销并提高存储效率;然后,本文将Shuffle Attention机制融入网络结构,使模型能够更充分地捕捉水面漂浮物的空间和通道特征关系;最后,引入了Shape-Io U损失函数,以优化边界框回归过程,提升模型对水面漂浮物目标的定位精度。此外,本文对水面漂浮物数据集进行了数据增强,构建了包含4种复杂场景的数据集CE-FLOW。实验结果表明DSS-YOLOv11Net有效提升复杂环境下的小型漂浮物检测能力。 (3)实现基于PySide6的水面漂浮物检测系统。系统通过集成改进后的算法FTFP-YOLOv8Net和DSS-YOLOv11Net,支持图片、视频及摄像头实时检测,验证了算法的实际应用价值。

关键词： 图像融合   语义分割   参数优化   目标检测  

摘要： 在果园果实采摘过程中,单一模态图像受限于环境适应性与定位精度,难以满足复杂作业需求。因此在复杂果园下使用异源图像融合技术来整合多模态互补信息,能够有效克服单一模态图像的局限性,有效提升果实定位的准确性与系统的鲁棒性,为果园智能作业提供了可靠支撑。当前果园复杂场景下的异源图像融合的主要挑战包括当前算法适应性和鲁棒性不足、细节与纹理信息丢失、融合图像的定量评估不完善以及多模态图像融合的兼容性问题。这些问题阻碍了果园异源图像融合发展,亟须通过改进算法、优化计算性能来解决。因此,本文工作主要有以下三个方面的内容: (1)针对复杂果园环境下苹果异源图像融合存在前景和背景相互影响导致融合图像质量下降的问题,提出了一种基于M-Unet语义分割的空域变换域果园异源图像融合模型。首先,使用语义分割模块对源图像进行语义分割,得到前景和背景图像。然后,对前景和背景图像进行非下采样剪切波算法变换域分解,得到高频子带和低频子带,并使用基于八个邻域的修正拉普拉斯算子的加权和(Weighted sum of eight-neighborhood-based modified Laplacian,WSEML)和加权局部能量(Weighted local energy,WLE)对高频子带和低频子带进行初次融合。再使用参数优化插件优化后的参数自适应脉冲耦合神经网络(Parameter-adaptive Pulse Coupled Neural Network,PAPCNN)模型对高频子带进行进一步融合,并使用WLE和WSEML对低频子带进行融合。之后使用逆非下采样剪切波算法变换得到变换域融合图像。最后将变换域融合图像以及源图像使用空域融合模块得到最终融合图像。在三个数据集上进行实验验证,与其他融合算法相比,提出的融合模型能够更好地保留源图像的信息和边缘轮廓细节。同时通过实验验证了参数优化插件、语义分割模块、空域融合模块对于融合模型的有效性。 (2)针对M-Unet语义分割的空域变换域果园异源图像融合模型对多模态图像融合效果较差,以及多模态图像融合存在模态差异和信息丰富度不平衡的问题,提出了一种三分支渐进式门控多模态图像融合模型。该模型包括三分支渐进式特征提取模块、特征融合模块、二次门控融合模块。其中三分支渐进式特征提取模块中,对三条分支下采样同层提取后的特征进行差分信息补偿。特征融合模块通过结合改进的门控融合单元(Improved Gated Fusion Module,IGFM)和L2-范数策略对三分支特征图像进行初步融合。二次门控融合模块采用改进的门控融合单元对提取出的二分支差分信息补偿特征图像与初步融合出的特征图像进行二次融合,通过上采样逐步降低通道数得到融合图像。使用六个不同模态的异源数据集对本章模型性能以及效果进行实验验证,提出的三分支渐进式门控多模态异源图像融合模型(Three branch progressive gating fusion model,TBPGFusion)模型在处理图像融合中的模态差异和信息丰富度不平衡问题上表现出色。并通过消融实验验证了三个模块的有效性。此外还通过实验对比论述了本文两种图像融合方法各自的优势,其中本文第三章模型在图像细节和整体运行效率更优,本文第三章模型在图像的整体融合表现上更具优势。 (3)针对图像融合对目标检测任务的促进作用以及果园苹果果实检测方法在华为昇腾边缘设备上的适配与优化工作。通过在Fuji数据集上的实验,验证了图像融合任务对目标检测性能的提升效果,结果表明融合后的图像能够提高检测模型的精度。此外,对比分析了YOLO系列算法在英伟达GPU和华为昇腾边缘设备上的推理效率和模型大小,发现昇腾设备在模型大小和运行效率方面具有显著优势,且检测精度未受明显影响。

关键词： 目标检测   草莓成熟度检测   YOLOv8   RT-DETR   轻量化   检测系统  

摘要： 在智慧农业转型背景下,果实成熟度精准检测成为提升采摘效率与果品质量的核心技术瓶颈。近年来,基于深度学习的目标检测技术凭借其端到端特征自动提取能力,在农业场景中展现出巨大应用潜力。然而,该类方法普遍存在计算复杂度高、硬件依赖强的问题,较高的延迟和功耗使得模型难以适配电池续航、计算能力和网络带宽均受限的视觉传感器及移动终端。这不仅导致模型无法满足高频次推理需求,也很难以与云端技术或其他优化方法协同工作,难以在精度与资源利用之间实现平衡。此外,其复杂的训练和在线简化流程,以及较高的硬件门槛和成本,阻碍了面向中小农户等算力受限用户的推广。针对上述技术矛盾,本文提出一种基于深度学习的轻量化草莓成熟度检测算法(A Deep Learning–Based Lightweight Strawberry Maturity Detection Algorithm,LSMD-YOLO),本文的主要工作如下: (1)针对YOLOv8模型在农业场景部署时面临的计算量和参数量过大的问题,提出一种轻量化改进方法:在主干网中引入深度卷积(Depthwise Convolution,DWConv),替换原模型中的Conv结构,降低模型的计算量和参数量;基于现有C2f结构设计了Rep C2f模块,通过多分支结构在保持梯度流动的情况下降低计算冗余。通过以上改进使得网络在基本保持表达能力的前提下显著降低模型的计算开销。 (2)针对模型复杂度大幅度降低后出现的特征表达能力下降问题,以及提升颈部网络的多尺度特征融合能力,提出了一种兼顾速度与精度的创新型颈部网络:在保留YOLO系列传统FPN-PAN结构优势的基础上,融合RT-DETR颈部中的CCFF(CNN-based Cross-scale Feature Fusion,CCFF)结构,设计出轻量级特征融合模块CCFFNet。新型颈部结构在保持整体模型轻量化优势的同时,能够提高对小尺度与边缘草莓目标的检测精度。 (3)基于基准模型提出一种基于深度学习的轻量化草莓成熟度检测模型LSMD-YOLO:通过在主干网引入DWConv结构和Re PC2f结构降低参数量和计算量,在颈层引入CCFFNet优化多尺度特征整合,最终构建LSMD-YOLO模型。 最后,基于LSMD-YOLO进行实验验证。结果表明,该模型同原模型相比参数量降低了50%、计算量降低了49%,m AP达到了89.5,其Precision、Recall分别达到89.8%、81%,单张推理时间为1.8ms,综合性能显著优于其他对比模型。设计并实现了一种基于LSMD-YOLO的草莓成熟度检测可视化系统。该可视化系统通过部署改进模型,对上传图像中的草莓进行检测,自动输出成熟度相关信息。