关键词： 多模态图像   目标检测   Transformer   Mamba   鲁棒性  

摘要： 当前多数的目标检测方法基于可见光图像数据,严重受限于光照等环境因素的影响。与之相比,基于可见光和红外光的多模态目标检测有助于克服单模态目标检测的不足。然而,现有多模态目标检测方法存在以下问题:（1）特征融合不充分不高效。当前主流方法通常采用同尺度内的自注意力Transformer对多模态图像之间的互补信息进行提取,同尺度的特征交互限制了不同尺度的信息利用造成特征融合不充分,而且复杂度具有二次关系的自注意力计算对图像长序列效率低下。（2）扩展性和鲁棒性差。当前主流方法采用双分支结构,这使得针对单分支结构设计的通用新技术无法自然的扩展到这些方法中;同时,大部分方法鲁棒性不强,没有考虑模态图像丢失问题。针对以上挑战,本文从两个角度对现有方法进行了分析和研究,提出了两种新的红外-可见光多模态图像特征融合目标检测方法。主要工作如下: （1）在当前主流方法框架内,针对现有方法对不同模态特征融合的不高效和不充分问题,提出了一种新的基于Transformer和Mamba结构的多模态目标检测算法。首先,将特征融合过程分为尺度内融合阶段和尺度间融合阶段两个阶段,以综合利用不同尺度上的多模态特征实现充分融合。其次,基于Transformer层和Mamba层交织组成的混合结构JTMBlock模块设计了跨模态融合（CMF）模块和跨尺度融合（CLF）模块,以实现高效率的特征交互。最后,提出的模型在三个公开数据集FLIR、LLVIP和M3FD分别实现了46.5%、68.2%和63.6%的m AP分数,均已达到当前领域内的最先进水平且具有相当快的运行速度。 （2）在整体的角度重新考虑了现有主流方法的双分支框架,针对双分支结构扩展性差以及主流方法鲁棒性不足等问题,提出了一种基于统一结构的鲁棒多模态图像目标检测方法。该方法通过推广高性能单模态检测器到多模态图像领域,构成了一个统一的单分支多模态图像编解码框架。此外,构建了高效率信息聚合模块（HEIA）以及自适应特征融合模块（AFF）,以实现高效率的跨尺度信息交互以及在输入感知下的高质量特征融合。同时,还使用一种随机模态丢失训练策略来模拟模态数据丢失情况,有效地改善了模型的鲁棒性。最后,提出的模型在公开的FLIR、LLVIP和M3FD数据集上分别实现了47.2%、66.7%和61.1%的m AP分数,并在模态丢失的情况下仍能实现媲美或超越单模态图像目标检测方法的性能。

关键词： 灯光控制   深度学习   目标检测算法  

摘要： 基于深度学习的目标检测算法是计算机视觉领域的重要研究方向。YOLO后续版本在 YOLOv1的基础上进行了多方面的改进，采用了更高效的网络架构设计，能够更好地处理不同尺度的目标物体。本文研究实现了深度学习对教室或图书馆等室内人员活动的精准灯光控制。深度学习是从神经网络演化而来的，如今已经发展成众多脉络，基于深度学习的目标检测算法的研究是前沿热点之一。根据训练的方法不同，目标检测算法一般可以分成Two Stage和One Stage两类。通过对两类目标检测算法的研究，可以为灯光控制的智能控制提供理论基础。

关键词： 计算机视觉   测量技术   数智化工程监理   质量控制   安全管理  

摘要： 随着工程监理行业数字化转型的逐步深入，计算机视觉测量技术在数智化工程监理中的应用逐渐受到关注。针对工程监理中的质量控制、进度与安全管理、资源优化与文档管理等方面，研究了计算机视觉测量技术的应用框架。介绍了计算机视觉测量系统的设计与实现，包括硬件与软件架构、关键技术与算法等。分析了计算机视觉测量技术在数智化监理中的应用场景，并且探讨了其在质量控制、进度与安全管理、资源优化与文档管理等方面的应用效果。通过案例研究验证了计算机视觉测量技术在工程监理中的应用价值，为工程监理行业的数字化转型提供了有益的参考。

关键词： 目标检测   无锚框方法   注意力机制   交通场景  

摘要： 针对复杂交通场景中的检测漏检率高和多尺度泛化能力不足的问题，本文提出一种基于无锚框架构的改进检测算法DFA-CenterNet。采用密集交互特征融合模块，通过特征叠加与差异双分支结构实现多分辨率特征互补，并结合卷积注意力与空间增强机制，在通道与空间维度动态优化特征权重分布来抑制遮挡区域的背景噪声干扰。本文方法在测试集上的mAP为89.76%，较原始CenterNet提升了10.31%，实时检测速度为40.79 FPS。实验结果表明，本文方法能够显著提升多尺度人车目标的检测鲁棒性，为复杂交通场景下的智能感知任务提供了可行的解决方案。

关键词： 海马记忆机制   目标检测跟踪   复杂背景   记忆池   双分支通路  

摘要： 目标检测与跟踪技术在复杂背景下的应用面临诸多挑战,例如相似物干扰、目标遮挡和光照变化等因素导致目标特征难以准确识别,进而在复杂环境中发生漏检和误检现象。针对上述问题,当前主流模型多采用深度学习方法,尽管这些方法在性能上取得了显著提升,但仍存在算法计算开销较大、难以在资源受限设备上实现实时推理、以及对对抗扰动较为敏感等局限性,限制了其在实际场景中的应用。本文拟通过模拟人脑海马记忆机制,改进现有基于深度学习的目标检测和跟踪模型,在保持跟踪速度的同时,提高模型的检测精度和泛化能力,综上所述,本文开展了如下两点工作研究: 1)为了解决小目标检测能力不足和模型过拟合问题,模拟人脑海马记忆机制,根据海马区不同神经元细胞的连接方式形成的TSP路径和MSP路径,模拟其不同路径的编码特性,提出了一种基于海马双分支通路的目标检测方法HIDPD,该方法通过通道剪枝技术来模拟TSP路径的稀疏编码特性,用于提取目标的稀疏特征,并结合注意力特征融合AFF,对MSP和TSP提取的特征进行融合,增强复杂场景下的目标检测能力。 2)为了解决目标跟踪中小目标的尺度适应性差、长期跟踪中的漂移问题,在上一点研究内容的基础上,完善了人脑海马记忆回路并对其功能特性进行模拟,提出了基于海马记忆池的MHP-HC目标跟踪方法,核心在于设计了记忆池(即吸引子网络),通过吸引子网络模拟尖波涟漪回放机制,将短期记忆转化为长期记忆,存储双分支融合后的特征,支持目标重检测和遮挡恢复;记忆池通过Hebbian学习构建动态吸引子状态,捕获目标的历史特征模式,在遮挡或目标短暂消失时,利用回放机制快速恢复目标身份,同时结合无瞄框定位模块提升小目标尺度适应性;MHP-HC采用多尺度特征融合机制处理提取的后两层特征,借助正交卷积核提升尺度辨识能力,同时通过引入通道注意力机制动态调整浅层特征的权重,以增强复杂场景下的特征表示能力。 综上所述,通过实验证明,本文第三章提出的基于海马双分支通路的目标检测方法HIDPD在MTD数据上的检测成功率达到了81.2%,第四章提出的MHP-HC目标跟踪方法在UAV123数据集上取得了成功率0.678、精确度0.864的优异性能,优于Siam DW和Siam CAR等传统方法,同时跟踪速度达178FPS,显著提升实时性,能更加适应复杂环境下的目标跟踪。

关键词： 显著性目标   多尺度特征融合   注意力机制   U2Net  

摘要： 显著性目标检测是计算机视觉领域热门研究之一，而显著性目标检测在处理背景复杂的图像时存在检测目标边缘模糊的问题。提出了一种多尺度特征信息融合的网络结构U2Net＿MFF（U2Net＿multi-scale feature fusion）。该网络通过对每层解码器增加跳跃连接，使每层解码器不仅能够获得上一级解码器的特征还能获得本层以上所有更浅层次的特征信息，以此来获取目标区域更多的细节特征，提高网络的检测精度；将动态上采样DySample融入到残差U型块中来提高上采样后特征图的质量，并结合多维度协作注意力机制抑制图像复杂背景干扰的同时提升对显著性目标区域的敏感程度。实验表明，改进后的算法在准确率、精确率、召回率、均交并比和F1分数上分别提升了1%、0.3%、0.4%、0.7%和0.8%,证明该算法具有更强的抗干扰能力和更清晰的目标边界检测效果。

关键词： 水下图像增强   水下目标检测   注意力机制   模型剪枝   YOLOv7  

摘要： 水下生物目标检测是结合声学设备、视觉传感器与智能算法,在复杂水下场景中探测、分类海洋生物,为生态研究、资源评估及渔业捕捞等提供关键数据支撑的前沿技术。但是,水下环境的复杂性和不确定性,给检测任务带来了许多挑战。与地面上的目标检测不同,水下目标检测会受到多种因素的影响,包括不断变化的光照条件、设备噪音、目标的伪装行为、以及水体对光的吸收和散射效应,还有水流的干扰。这就导致水下图像通常具有低对比度、低亮度和色彩偏差的特点。此外,水生生物往往体积较小且倾向于群集分布,加上拍摄距离的不同造成的尺度多样性,更加剧了检测的难度。同时,当前大多数目标检测算法存在参数冗余的问题,影响了这些算法在水下设备上的高效应用。虽然已有研究致力于通过改进算法和提升硬件性能来改善检测效果,但在复杂多变的水下环境中实现快速而精准的目标检测,依然是水下探测领域面临的主要技术障碍。因此,本文的研究课题主要有以下三个方面: (1)针对当前水下图像存在对比度低、亮度低和色彩失真等问题,本文提出了一种基于多尺度概率自适应归一化的水下图像增强方法,该方法首先设计了一个全局注意力机制和一个多尺度概率自适应归一化模块,可以更好地提取水下图像的特征,恢复水下图像的质量。与其它水下图像增强方法相比,UCIQE值达到了0.601,UIQM值达到了3.134,取得了先进的水平。 (2)针对水下目标检测精度低的问题,本文基于YOLOv7提出了一种新的水下目标检测模型。首先设计了一个特征提取模块,该模块包含了提出的信息注意力机制和可变形卷积,提升了模型在复杂水下环境下的特征提取能力。为了进一步增强模型的鲁棒性,结合分组卷积和通道混洗技术设计了一个特征交互模块。此外,为了提高小目标检测的精度,设计了一个自适应特征融合模块。改进后的模型与其它水下目标检测模型相比检测精度更高,将m AP50(%)提高了3.3%,将m AP50:95(%)提高了2.7%。 (3)针对目标检测模型过参数化导致检测速度变慢的问题,本文提出了一种基于HAL Score的模型剪枝与轻量化方法。该方法结合了LAMP分数和Hessian对角信息,从而更加精确地识别出对模型性能至关重要的参数,保证了剪枝后模型的性能。在不同加速比下对改进后的YOLOv7模型进行剪枝,最终在加速比为3时,剪枝后的模型综合性能表现较好,在保证检测精度不降低的前提下,剪枝率达到了66%,FPS由37.9提升到50.9。 本文围绕水下目标检测展开研究,旨在解决水下图像质量低、水下目标检测精度低以及模型过参数化的问题。本文提出了三种基于深度学习的方法,均取得了较好的效果。

关键词： SAR图像   目标检测   YOLO   轻量化  

摘要： 随着海上交通运输和海洋资源开发的持续推进,海上安全防范和目标监测需求不断增长。合成孔径雷达(SAR)依托其全天时、全天候遥感能力及海上目标识别优势,已成为海洋监测与预警的关键技术。然而,SAR图像受散斑噪声干扰及分辨率差异影响,使得微小目标检测的精度与稳定性面临挑战。此外,在实际应用中,计算与存储资源的限制对模型轻量化提出了更高要求,需要在保证检测精度的同时提高计算效率。基于此,SAR图像舰船检测算法的深入研究与优化既具有重要的理论价值,也在海洋监测、海上执法及国防安全等领域展现出广阔的应用前景。 本文基于深度学习的方法围绕合成孔径雷达图像的舰船检测任务,针对微小舰船目标易漏检、斑点噪声干扰严重及模型部署难等关键问题展开研究,主要内容如下: (1)为了增加舰船小目标的识别率,更好地处理复杂背景的噪声干扰,本文提出了改进的YOLOv8算法。主要改进包括采用结合动态卷积的DC-ADown下采样模块替代原有的卷积层使得网络可以更高效地提取特征;引入可编程梯度信息网络结构,可实现多路径同时提取深层和浅层特征信息,减少信息丢失,在此基础上,提出改进的双分支辅助检测头以便更加充分地利用特征信息;在空间金字塔池化层前嵌入高效通道注意力机制模块,在复杂背景下进一步提升算法的目标判别能力。通过在HRSID数据集和MSAR-1.0数据集上进行各项实验可以得出结论,改进后的YOLOv8算法在SAR图像舰船检测上有着更高的精度。 (2)针对边缘设备计算能力与存储受限的问题,本文提出改进的YOLOv11轻量化检测算法。主要改进包括继续沿用DC-ADown下采样模块来替代原卷积层,在减少计算量的同时维持检测精度;提出以共享卷积为核心的SDEH轻量化检测头,在显著降低计算复杂度和参数量的同时提升检测能力;使用ShapeIoU代替原先的CIoU,使检测框能精确定位,在不影响轻量化的同时增强检测性能。该改进算法同样在HRSID数据集上取得了优良的效果。在为了进一步满足部署需求,对利用此改进算法训练完成的模型依次使用Lamp剪枝和Cwd蒸馏进行深度压缩与优化,在保证识别精度和检测速度的前提下,显著降低了模型的计算量、参数量及存储体积,提升边缘计算环境下的适用性。

关键词： 弱监督目标检测   伪全监督学习   类别置信度引导的伪真值样本的加权合成与冗余淘汰   伪真值的迭代优化策略   交并比引导的伪真值样本更新   遥感图像  

摘要： 遥感图像中的弱监督目标检测(Weakly Supervised Object Detection,WSOD)仅需图像级标签即可实现目标定位,显著降低了人工标注成本。近年来,基于伪全监督目标检测(Pseudo-fully Supervised Object Detection,Pseudo-FSOD)的模型性能优于传统的多示例学习(Multiple Instance Learning,MIL)框架,但现有方法仍存在两个关键问题亟待解决:其一,现有模型倾向于聚焦目标的显著区域而非完整目标;其二,伪真值(Pseudo Ground Truth,PGT)在训练过程中缺乏持续优化的机制。 针对第一个问题,本文提出一种类别置信度引导的伪真值样本的加权合成与冗余淘汰(Filtering and Weighted Synthesis guided by Class Confidence Score,FWSC)用于生成PGT。该策略首先剔除类别置信度分数(Category Confidence Score,CCS)较低的候选实例;随后,若两个实例空间重叠度较高,则根据其CCS进行加权融合以尽可能覆盖目标整体;若两者的空间重叠度较低,则执行非极大值抑制(Non-Maximum Suppression,NMS)操作。 针对第二个问题,本文设计了一种伪真值的迭代优化策略(Iterative Refinement,IR)。具体来说,该策略首先利用FWSC生成的PGT实例训练YOLO模型,随后通过交并比引导的伪真值样本更新(Filtering and Weighted Synthesis guided by Io U,FWSI)对YOLO模型的检测结果进行过滤和加权合成,从而实现PGT实例的迭代更新。上述过程可迭代执行以持续提升PGT质量。此外,本文提出三项改进策略以增强原始WSOD模型的性能:优化候选框生成机制、样本数据增强的筛选方法,以及对伪标签的重新定义生成规则。 实验结果表明,FWSC策略、IR方案及原始WSOD模型的三项改进均显著提升了检测性能。通过详细的消融实验,本文所提FWSC和IR两个策略的有效性得到了充分验证。本文所提方法在NWPU VHR-10.v2和DIOR两个数据集的m AP(Cor Loc)分别达到了76.2%和30.40%(85.68%和56.19%),并且通过与目前流行的16种弱监督目标检测算法在NWPU VHR-10.v2和DIOR两个数据集上进行实验,证明了本文所提方法的优越性。