关键词： 受困人员搜寻   部分遮挡环境   红外热成像   无人机   目标检测   数据集  

摘要： 随着户外探险活动的普及,户外受困人员搜寻任务变得愈发重要。传统的搜救方法如搜救犬和人工搜寻存在效率低下、易受环境干扰等局限性,难以满足复杂救援场景的需求。无人机凭借其机动灵活、视野广阔等优势,在受困人员搜寻领域展现出巨大潜力。然而,在部分遮挡环境下,如丛林等复杂地形中,无人机搭载的可见光相机难以准确识别受困人员,而红外热成像相机虽能检测人体热辐射信号,但对遮挡目标的识别准确率较低。为解决这一难题,提高部分遮挡环境下无人机受困人员搜寻的效率和准确性,本文深入研究了部分遮挡环境下无人机对受困人员搜寻的关键技术。 首先,本文构建了首个基于无人机的红外热成像部分遮挡人体目标检测数据集(POP dataset)。该数据集在不同飞行高度(约30米、50米和70米)及不同天气条件(多云、阴天、雾天和晴天)下采集了8768张红外热成像图像,涵盖了多种复杂环境下的部分遮挡人体目标。数据集的构建过程包括图像的采集、标注和验证,确保了数据的多样性和准确性。经过详细标注并多重校验,共有25811个标注框。通过对数据集的详细分析,揭示了不同遮挡程度对目标检测性能的影响,为后续算法的改进提供了数据支持。 其次,针对YOLOv10目标检测网络在小目标和部分遮挡目标检测方面的不足,本文提出了YOLO-RFSNet模型。该模型对YOLOv10的主干网络、颈部和检测头进行了针对性地改进。通过引入Rep MSAttn模块来增强多尺度特征提取能力,采用Full Scale Connect模块进行多尺度特征融合,同时结合SCDetect模块实现分类信息的共享。在m AP@0.5:0.95指标中YOLO-RFSNet相较于YOLOv10s模型提高了3个百分点,相较于YOLOv8s模型提高了4个百分点,结果表明这些改进显著提升了模型对小目标和部分遮挡目标的检测精度,使其在真实的复杂且存在部分遮挡环境下具有更好的鲁棒性和适应性。 最后,基于YOLO-RFSNet模型,本文设计并实现了一个基于YOLO-RFSNet的部分遮挡环境下受困人员搜寻系统。该系统集成了YOLO-RFSNet模型,能够自动地对无人机拍摄的图像和视频进行受困人员目标检测,并将结果可视化展示。实验验证表明,该系统能够快速、准确地执行目标识别任务,为灾后救援、野外寻人等多种民用、军用应用场景提供智能化、高可靠的无人化受困人员搜寻解决方案。

关键词： 目标跟踪   时序跟踪   稀疏化跟踪  

摘要： 目标跟踪作为模式识别领域的核心研究方向,其核心任务是通过给定目标的初始状态(位置、尺度等),在后续视频序列中实现目标的持续精确定位。近年来,研究表明上下文信息感知对提升跟踪性能具有关键作用。现有方法通常通过引入多帧历史信息来捕获上下文,然而这类方法存在两个显著局限性:一方面,原始视频帧中不同区域对跟踪任务的贡献度存在显著差异,但现有方法未能有效区分;另一方面,有效上下文信息往往稀疏分布在视频帧中。这种不加区分的原始帧利用方式容易受到噪声和冗余信息的干扰,导致跟踪性能下降。针对当前跟踪器未能充分考虑参考帧区域贡献度差异的问题,本文聚焦于稀疏上下文感知的目标跟踪研究。本文的主要贡献包括: (1)本文提出了基于细粒度上下文感知的目标跟踪算法。具体的,跟踪器通过自动学习高质量的参考上下文,以实现精准且高效率的视觉跟踪。该跟踪器以“少即是多”为核心思想,即少量关键的上下文信息对跟踪过程中的目标定位起着决定性的作用,因此,其分析所有输入上下文的重要性分布,而其中重要上下文会在后续跟踪中被收集、持续关注和更新,从而最大程度避免冗余上下文以及噪声的影响。具体而言,设计了一种新颖的上下文存储模块,以自回归方式动态收集目标的高质量时空信息,同时消除参考帧内冗余的背景上下文。此外,设计了一种有效的单向图像块注意机制,以建立参考上下文和搜索帧之间的依赖关系,实现鲁棒的跨帧关联和目标定位。广泛的实验证明了我们的跟踪器的优越性,在现有多个跟踪基准数据集上取得优异的结果,如GOT-10K达到了80.1%AO的性能。 (2)本研究提出基于稀疏关键点采样的目标跟踪算法。该算法的创新性体现在三个方面:首先,采用动态特征采样机制,根据目标特征和运动状态自适应调整采样点分布;其次,对每个采样点独立预测其空间偏移量和目标尺度;最后,引入基于自适应归一化层的运动信息嵌入方法,通过调整搜索区域的均值和方差来融合运动先验。相比传统卷积方法,该稀疏采样机制具有双重优势:在特征提取层面,通过建立长程依赖关系克服了传统方法感受野受限的问题;在计算效率层面,通过减少冗余计算显著提升了算法在复杂场景下的实时性。广泛的实验证明了我们的跟踪器的优越性,在跟踪基准(如GOT-10K,Tracking Net和La SOT)上取得了先进的结果,如Tracking Net达到了85.2%AUC的性能。

关键词： 矿井安全   目标检测   注意力机制   轻量化   YOLO  

摘要： 在人工广泛运用的今天,矿井安全监测领域也逐渐走向智能化。但是矿井作业环境具有一定的特殊性,一方面由于矿井中光照条件的急剧变化和烟尘的严重干扰,再加上目标尺寸小和背景动态的复杂性,常规的深度学习检测算法通常很难实现高精度的检测;另一方面一些矿井还没有完成智能化升级工作,其监控系统大多依赖于计算资源受限的嵌入式设备,传统模型计算复杂度大、能耗高的特点给实时监测带来了困难。如何解决这两方面问题是本论文的研究重点。为了应对上述挑战,本论文以YOLOv8模型为基础,从提高矿井目标检测精度和模型轻量化两方面对YOLOv8进行了增强,其主要的研究工作与创新点如下: 1.针对矿井环境光照变化强烈和烟尘干扰的问题,提出了YOLOv8-ED模型。将EMA注意力机制引入骨干网络中,通过对通道维度的重组和跨通道语义关系建模,增强了模型对关键区域和多尺度语义信息的感知能力,有效提升了在低光照、高遮挡等复杂环境下的目标识别精度。同时利用Dy Head对检测头进行了替换,该结构通过在尺度、空间及任务三个维度上进行统一建模与动态特征融合,提高了模型对小目标、遮挡目标和背景扰动的适应能力。实验数据显示,YOLOv8-ED在VOC2012和矿井数据集上与原始算法相比,m AP@0.5分别提高了2.0%和3.2%,更适合用于矿井安全监测的应用场景。 2.针对智能化程度不高、监控系统计算资源受限的矿井,提出了一种轻量化YOLOv8-BG模型。模型采用Bi FPN作为颈部特征融合模块,通过自适应加权策略高效整合多层级特征,提升了特征重用效率与跨尺度信息流通能力,有效减少了无效计算冗余。此外,检测头引入基于Group Conv的轻量化结构,将传统卷积分组处理以降低参数维度和计算成本,同时保持检测精度与表示能力。实验数据显示,YOLOv8-BG在维持检测准确性的基础上,模型的参数数量和计算量分别减少了46.5%和37.8%,在计算效率和检测性能之间取得了较好的兼顾,适合矿井监控系统实际部署需要。 3.针对矿井目标检测算法的应用问题,在YOLOv8增强算法和Py Qt基础上,研发了矿井目标检测系统。采用前后端分离技术,前端以Py Qt为核心实现检测的可视化,后端使用YOLOv8-ED模型和YOLOv8-BG模型实现高效的目标检测并支持实时视频流和静态图像的分析。系统还具有日志记录及管理功能、目标跟踪等功能。经过测试,系统能够稳定高效地运行,可为矿井智能监测和控制提供可靠的技术支撑,促进矿井安全领域中目标检测技术的发展。 图[40]表[7]参[69]

关键词： 遥感图像处理   有向目标检测   有向目标表示   网络学习与优化   端到端检测网络  

摘要： 有向目标检测技术是遥感图像解译的关键性步骤和基础性研究,同时在智能交通、智慧农业、国防监测和智慧医疗等诸多领域具有重要的理论意义和应用价值。作为水平目标检测的深化拓展,有向目标检测任务能够提供更为关键的目标方向性信息,成为了遥感图像处理领域的研究热点。然而,遥感图像中存在目标方向各异,尺度多样性,背景噪声干扰以及宽高比变化大等复杂分布特性,导致有向目标检测面临目标漏检、类别混淆、定位困难和方向预测不精准等关键性问题。研究高精度的有向目标检测模型成为计算机视觉领域和遥感技术应用的迫切需求。因此,本文围绕上述问题开展遥感图像有向目标检测理论与方法研究,以构建高精度和高效的有向目标检测模型为总体目标,从有向目标表征与特征提取、网络结构设计和网络学习优化三方面进行了研究。具体研究内容和主要创新点可概括为以下几个方面: (1)针对遥感目标特征提取中背景噪声干扰导致的定位困难问题,开展了基于双角度旋转线对象表示的有向目标检测研究。该方法设计了一对自适应且可学习旋转线对象表示,通过灵活地组合并自适应旋转感知有向目标的方向信息。然后,构建了方向引导特征编码器,编码每条旋转线上具有判别力的目标特征,以减轻由重叠目标引起的背景噪声。同时,提出了双角度解码器独立地引导每条旋转线的,以适应有向目标的变形。基于方向引导的编码特征,双角度解码器能够引导每条旋转线的自适应旋转,进一步增强双角度旋转线目标表示的表征能力,从而提升遥感有向目标检测的平均精度均值。 (2)针对遥感目标尺度多样且有向目标检测感受野有限导致的类别混淆和漏检问题,开展了角度解耦和一致性优化策略的端到端有向目标检测网络研究。该方法首先构建了基于Transformer架构的端到端有向目标检测基线,提升网络全局上下文建模能力的同时克服对后处理机制的依赖。设计角度解耦预测模块将角度预测与边界框回归解耦,避免编码器中级联式角度预测产生的误差累计。然后,设计了角度编码一致性优化策略使用非线性函数进行角度编解码,缓解角度边界情况下不一致的匹配代价。引入查询多样性损失促进网络多样化的目标查询,从而避免冗余预测并进一步提高预测准确性。 (3)针对端到端有向目标检测难以感知遥感目标间实例级几何相关性的问题,开展了基于几何信息编码的端到端有向目标检测方法研究。该方法首先设计了几何信息编码器,通过对解码器前后层输出的预测框的角度、位置和尺寸等几何信息进行相关性建模,保留跨解码器层的几何信息先验。进一步地,设计了一个渐进式几何关系解码器,将上一层解码器的几何信息先验作为下一层解码器自注意力谱的权重。该方法为自注意力层引入跨层预测的空间位置和方向信息,促进不同编码器层预测之间的几何先验信息交互,从而更有效地捕捉目标之间的位置和方向关系。 (4)针对分类与定位任务联合优化困难的问题,开展了质量对齐匹配与优化的有向目标检测研究。该方法首先设计了质量对齐代价函数,通过分类和定位的联合表达进行一对一匹配,优先将定位质量高的样本识别为正样本。然后,利用指数函数调制定位和分类得分,并采用动态匹配策略优化样本分配。进一步地,该方法设计了质量对齐损失,以定位度量监督分类预测得分,确保分类和定位任务在训练中协同优化。质量对齐代价使高定位质量预测更易被识别为正样本,质量对齐损失则联合优化分类和定位任务,进而提升网络的训练效率和识别准确性。 (5)针对不同宽高比有向目标的角度敏感性差异导致的次优学习瓶颈问题,开展了宽高比感知优化的角度回归有向目标检测研究。该方法首先设计了宽高比自适应匹配策略,差异化调整不同宽高比目标的匹配代价,防止大宽高比预测在匹配中被过度抑制。进一步设计了宽高比自适应损失,动态调整不同宽高比预测的损失代价,避免损失计算的次优优化。同时,该方法设计了宽高比感知的角度周期性编码模块,防止角度周期性导致的角度损失突变。并根据宽高比对角度预测的匹配代价和损失进行加权,动态调节角度预测对整体匹配代价与损失的影响,进一步优化网络学习目标从而提升检测精度。

关键词： 多模态   计算机视觉   视觉问答   目标跟踪   图像分类  

摘要： 近年来,Transformer被越来越多地应用到视觉任务中,研究者们借助其强大的建模能力来统一处理不同模态之间的交互信息。然而,从浅层的表达方式到深层的语义结构,隐式的模态差异问题会给模型的性能和泛化能力带来较为不利的影响。因此,如何实现多模态信息的结构化协同与语义互通就成为了我们接下来需要解决的问题。 基于上述问题,本文围绕图像的几何表征特性,提出了一种受生物感知机制启发的跨模态融合方法,用一种中间的表达形式呈现出来,为模态之间的对齐提供更加清晰的锚点。我们设计了一种新的中间模态,它是基于图像中的线段几何结构构建出来的。通过引入几何感知特征作为结构约束,我们进一步提高了模型在语义融合过程中的稳定性和可解释性。论文的主要创新点如下: (1)提出一种基于上丘引导的图像几何感知方法,利用线段检测器提取得到的关键点构建视觉模态中的几何结构信息,从而提升模态间结构对齐能力。 (2)设计一种多维特征协同机制,用于目标跟踪任务中视觉模态与位置模态之间的信息交互,提升模型的鲁棒性与追踪精度。 (3)构建了一种跨模态融合网络结构,融合视觉、语言及中间模态,引入模拟人脑中侧枕叶复合体的形状感知机制,并设计了辅助模态动态更新策略,以强化模型在复杂语义下的推理能力。

关键词： 低小慢目标   雷达   软件系统   wxWidgets  

摘要： 近年来,低小慢目标的广泛应用带来了安全与监控领域的新挑战。针对其雷达探测与跟踪难点,本文设计并实现了一套基于C++的目标检测与跟踪软件系统。该系统插件式地调用各类目标与传感器模型模块和检测跟踪算法模块,也可控制参数化硬件系统采集和处理实测数据,并实现相关结果的动态显示。旨在获得一套开放性的雷达目标检测与跟踪算法研究与验证的软件平台,并扩展对网络化雷达系统的管理和实测雷达数据的处理能力。 根据雷达系统的功能需求,目标检测与跟踪软件系统的总体架构设计分4层:硬件数据层、应用数据层、模拟与跟踪算法层及人机交互层。硬件数据层设计了与多个可配置雷达硬件系统的控制与数据通信机制,确保数据的高效采集与处理;应用数据层通过接口规范、多线程管理等设计,实现多雷达节点的注册管理与数据维护。模拟与跟踪算法层提供目标、传感器、跟踪器和评估器模块的可扩展功能接口。人机交互层基于易于扩展的wxWidgets框架,构建友好简洁的人机交互界面,提升系统可视化与用户体验。 对具体系统的实现主要讨论以下方面:提供目标的运动模型和扩展模型,描述目标的运动状态与其他属性;通过目标数据产生及矩阵计算库的调用模拟目标的各种运动,完成真实目标航迹的仿真。传感器模拟使用矩阵与正则化计算技术实现了环境杂波、目标量测的模拟功能。采用多线程方法管理网络化雷达节点,实现多节点数据同时采集和维护。在跟踪算法部分,实现了用户Matlab跟踪算法与C++跟踪算法的插件式动态调用。最后,对目标航迹、量测与跟踪算法的输出结果等实现了二维和基于VTK库的三维可视化。 采用本软件系统,按照步骤构建雷达目标跟踪的应用项目,生成机动目标航迹和量测数据,并成功调用机动目标跟踪算法,展示了跟踪航迹结果。此外,配合低空无人机目标雷达外场探测实验,测试了基于10G以太光网通信对硬件系统的配置,成功采集与保存了雷达硬件处理后的连续多帧原始量测数据。

关键词： 电力现场作业   安全着装   目标检测   YOLOv5s算法  

摘要： 在电力现场作业中，基于深度学习的安全着装检测仍存在算法参数冗杂、推理速度慢、准确度不高的问题，不利于边缘端的部署。为此，提出了一种改进YOLOv5s的电力现场作业图像识别检测模型。该模型采用GhostNet堆叠对骨干中的C3模块进行轻量化改进，大大减小了网络的参数与计算量，并采用结构重参数技术将训练和推理架构进行解耦，跳跃式嵌入RepVGG网络代替传统的卷积网络，加快了推理速度，提高了检测精度。结果表明，改进模型的大小降低为原模型的26%，平均检测精度可以达到95.0%，推理延时在嵌入式硬件Jetson Xavier NX上延时为302.2 ms，相较于原算法降低了82.8%，更有利于边缘端部署应用。

关键词： 图像处理   小波变换   阈值函数   图像去噪  

摘要： 在图像处理领域，小波阈值去噪技术凭借其卓越的噪声抑制和细节保留性能，得到了广泛应用.然而，传统的小波阈值函数在实际图像处理过程中，往往面临着阈值选择不当的问题，导致图像过度平滑或噪声残留，从而影响图像的质量和后续处理效果.为了解决这一问题，提出了一种改进的小波阈值函数.在传统软阈值和硬阈值的基础上，创新性地引入了平滑过渡的高阶可导函数，通过这种新的阈值函数设计，在抑制噪声的同时，更有效地保留图像的边缘和细节信息.实验结果表明，改进的小波阈值函数在多种噪声水平下均表现出显著的去噪效果，处理后的图像边缘更加清晰，伪影明显减少，视觉效果显著提升.