关键词： 头盔式红外成像   目标检测   深度学习   时空特征   双向特征融合  

摘要： 随着红外成像技术的快速发展,头盔式红外成像系统在军事、安防等领域的应用日益广泛。然而,红外图像存在噪声大、对比度低等问题,且动态场景中的目标检测与识别面临光照变化、背景干扰等挑战,传统的目标检测算法难以满足实际需求。本文针对头盔式红外成像系统中的活动物体检测与识别问题,结合深度学习技术,提出了一种基于双向特征增强融合和多尺度预测的目标检测算法,并进一步引入时空特征融合方法,提升了动态场景下的检测性能。 首先,本文对红外图像进行数据增强和图像增强处理。针对红外图像数据集少、类别不均衡的问题,通过仿射变换、图像混合与遮挡等技术扩充数据集,提升了数据的多样性和泛化能力。并采用伽马变换等方法提升图像质量,为后续目标检测提供了高质量的数据基础。 其次,提出了一种双向特征增强融合和多尺度预测的单阶段目标检测算法。通过引入双向特征增强模块和注意力机制,增强了模型对目标特征的提取能力;结合多尺度预测和Focal-EIou损失函数,进一步提升了检测精度和鲁棒性。实验结果表明,所提算法的精度值达到了67.8%。 最后,本文提出了一种基于时空特征融合的目标检测算法,通过局部自适应阈值帧间差分算法提取运动区域,并将其与提出的单阶段目标检测算法通过通道拼接或动态注意力权重的方式进行结合,实现了动态场景下的目标检测。实验结果表明,该方法能够有效减少背景干扰,提升运动目标的检测性能,相较于没有融合时空特征的网络,检测精度提高了1.6%。 综上所述,本文的研究为头盔式红外成像系统中的活动物体检测与识别提供了一种有效的解决方案,具有重要的理论意义和实际应用价值。未来的研究将进一步优化算法性能,并探索其在更多复杂场景中的应用。

关键词： 少样本学习   目标检测   动态网络   原型网络  

摘要： 目前,基于深度学习的目标检测技术已取得显著的进展,但由于训练依赖大规模标注数据集,限制了其在数据稀缺及标注成本高昂场景中的应用。传统监督学习算法因数据规模受限,常面临过拟合问题,导致模型泛化能力下降。为应对这些挑战,通过在目标检测任务中构建少样本学习框架,从而为解决数据瓶颈提供了新路径。当前,少样本目标检测研究主要集中在元学习和迁移学习两大技术方向,其中迁移学习因其在特征迁移效率和检测稳定性上的优势,逐渐成为研究重点。现有工作在基础网络选择上主要围绕YOLO系列、DETR和Faster R-CNN三种检测框架。相较于其他架构,Faster R-CNN通过候选区域生成与精确检测的两阶段处理机制,在少样本场景中展现出更优的检测能力。因此,本文遵循迁移学习范式,构建了以Faster R-CNN为基础网络的改进模型,主要工作如下: 1.在少样本目标检测常用数据集中存在两个层面的尺度分布差异,分别是不同类别样本之间以及同类样本在预训练与微调阶段之间的差异。为了解决这一问题,本文设计了一种基于动态网络的多尺度特征融合方法。其根据不同样本,在特征信息生成以及融合方式上进行自适应调整,以缓解数据集中的尺度差异问题。 2.在少样本目标检测场景下的不同训练阶段中,Faster R-CNN的子网络RPN的性能有显著衰退的现象。为了解决这一问题,本文设计了一种基于原型网络的区域再增强方法。其引入多种原型来增强样本特征信息,从而提高新增RPN网络的表现,缓解了不同训练阶段下RPN的衰退问题。 3.为进一步提升本文方法的性能,本文将动态多尺度特征融合方法与原型区域再增强方法融合成一个网络结构。融合的网络结构在多种数据集上展现了优越性与有效性。 4.为展示与便捷使用本文所提出的方法,设计并实现了基于Web的目标检测系统。用户可以在系统中上传数据集以进行目标检测推理和新类训练操作。 本文设计的方法在MS-COCO和PASCAL VOC数据集上进行了实验与结果分析,通过与其他模型的性能对比以及消融实验和可视化实验,实验结果表明了本文方法的有效性。

关键词： 深度学习   目标检测   标签分配   任务交互   网络结构设计  

摘要： 目标检测作为计算机视觉的核心任务之一,旨在从图像中精确定位并识别感兴趣的目标物体,在自动驾驶、视频监控、医疗诊断等领域具有广泛应用。深度学习技术极大地推动了目标检测任务的发展,但仍面临诸多挑战:首先,现有网络结构设计不够高效,任务交互机制不足,难以充分挖掘特征表示潜力。此外,传统硬标签分配方法导致样本标签质量不一,对接近阈值的候选框难以准确刻画其模糊性;其次,正负样本分布严重不均衡,低质量样本参与训练会降低模型性能。 针对上述问题,本研究从网络结构设计和标签分配方法两个维度进行改进,主要研究工作如下: 在网络结构设计方面,本文提出了具有分支间交互功能的任务对齐的单阶段目标检测模型。该框架的核心创新体现在三个关键设计:首先,采用可变形卷积核替代传统卷积操作,有效解决了目标形变和尺度变化带来的特征表示问题;其次,设计了任务感知的空间解耦模块,在保留局部显著特征的同时兼顾全局上下文信息;最后,引入基于可学习参数向量的分支间交互机制,通过模拟生物神经系统的横向连接方式,实现了分类与定位分支间的动态特征共享与协同优化。在Res Net-50主干网络和MS-COCO 2017标准数据集上,这三个组件的协同作用使模型达到了43.3的平均精度(m AP)。同时,任务不对齐度指标从TOOD模型(当前先进的同类型单阶段目标检测器)的19.85像素显著降低至3.41像素。 在标签分配优化方面,本研究提出了一套完整的软标签分配方案。首先建立了基于预测框交并比和分类置信度的多级样本评估体系,实现了对不同质量样本的精准区分,相比传统基于单一阈值的筛选方法使检测精度(m AP)提升了1.4个百分点。其次开发的动态权重分配机制通过自适应强化高质量样本的监督信号,其性能超越当前先进的动态加权方法(DW)1.5个m AP点。进一步设计的质量感知混合损失函数相比主流Focal Loss和Quality Focal Loss(QFL)展现出更优的收敛特性,训练损失曲线更加平缓且最终损失值更低。最后引入的渐进式训练策略有效缓解了训练初期的不稳定性,使模型最终准确率较基线训练策略提升了1.2个m AP点。 在公开的标准数据集MS-COCO 2017的实验结果表明,本文方法在检测精度和模型稳定性方面均有显著提升。对比实验和消融研究验证了所提算法在处理样本质量差异和特征表示优化方面的有效性。可视化分析进一步证实了该方法在复杂场景下的鲁棒性。

关键词： 目标检测   图像增强   YOLOv11   边缘设备   电力作业现场  

摘要： 电力作业现场的安全管控是保障电力系统稳定运行和作业人员人身安全的重要环节。然而,电力作业环境复杂多变,常常面临光照不足、目标遮挡、设备干扰等挑战,导致传统安全监管方式难以满足实时性、准确性和高效性的要求。针对这一问题,本文以深度学习和计算机视觉技术为核心,提出了一套智能化的安全监测解决方案,旨在解决电力作业现场低照度环境下的图像质量差、目标检测精度不足以及模型在边缘设备上的高效部署等关键科学问题。通过构建专用数据集、设计低照度图像增强算法、优化目标检测模型以及实现边缘设备部署,本文为电力作业现场的安全管控提供了高效、可靠的智能化技术支持。 首先,本文针对电力作业现场光照条件复杂多变的问题,构建了一个包含正常光照、全局性低照度和局部性低照度图像的专用数据集。通过分析低照度图像的特性,提出了基于灰度图偏离均值和平均偏差的低照度图像判断方法,并引入滑动窗口机制,实现了对全局性、局部性和人体低照度图像的有效识别。这一方法为后续的图像增强处理提供了有力支持,显著提升了低照度场景下的检测性能。 其次,为了解决低照度图像细节信息丢失的问题,本文设计了一种结合离散小波变换的低照度图像增强网络。该网络通过多尺度特征提取、注意力机制和细节重建模块,有效提升了低照度图像的视觉质量和细节恢复能力。实验结果表明,CDWTNet在峰值信噪比、结构相似性和自然图像质量评估等指标上均优于现有算法,为后续的目标检测任务提供了高质量的输入数据。 进一步,针对电力作业现场目标检测任务中模型精度与效率的双重需求,本文提出了一种轻量级高效目标检测模型YOLO-Power on-site operation。该模型以YOLOvl 1为基础,通过引入FasterC3k2模块降低了模型的计算复杂度和参数量,同时设计了特征细化模块和ESPPF模块,显著提升了模型对不同尺度目标的检测能力。实验结果表明,YOLO-Power on-site operation在电力作业现场数据集上的mAP@0.5达到了 95.3%,较主流目标检测模型提升了 5.9%以上,同时实现了高效的推理速度。 最后,本文将YOLO-Power on-site operation模型成功部署到华为Atlas 200 DK边缘设备上,实现了实时目标检测功能。通过硬件环境和软件环境的搭建,完成了模型的转换和优化,验证了其在复杂场景下的高效性和稳定性。实验结果表明,YOLO-Power on-site operation在边缘设备上能够以73帧/秒的帧率进行实时检测,满足了电力作业现场对实时性的要求。

关键词： 图像增强   绝缘子   电力巡检   目标检测  

摘要： 随着我国城市电网的持续改造升级与智能电网建设的加速推进,架空线路中的绝缘子组件数量显著增加。作为架空电缆系统的关键组件,绝缘子在运行过程中直接暴露于自然环境中,因此极易遭受各种损害。随着无人机技术的迅猛发展,利用无人机航拍技术辅助电力巡检已成为一种趋势。本文以电力系统架空线中绝缘子为研究对象,针对绝缘子巡检过程中气候因素、复杂背景和检测技术手段等问题,本文提出了绝缘子缺陷智能检测算法,有效提升了检测精度和巡检效率。实验结果表明,该方法显著提高了绝缘子故障检测的准确性和工作效率。本文主要研究工作如下: 1.现有绝缘子缺陷巡检手段主要适用于常规天气,对雨、雪等极端恶劣天气的考虑不足,且此类天气下数据收集困难。本文创新性地应用图像增强技术,对绝缘子原始航拍图像进行处理,成功模拟了雨、雪、雾三种恶劣天气环境以及运动模糊现象,极大地丰富了数据集,为算法在恶劣天气下的应用提供了可能。 2.针对现有算法轻量化和准确率不平衡问题,设计了绝缘子缺陷轻量化检测网络。首先,在主干网络中创造性地融入了感受野注意力卷积模块,该模块能够动态地调整卷积核的感受野分布,从而极大地提升了对绝缘子表面如破裂、掉串等细微缺陷的多尺度特征提取能力。其次,采用轻量化的C2F-Faster模块重新设计颈部网络,通过深度可分离卷积与通道重参数化技术,显著降低了计算复杂度,特别适用于资源受限的无人机嵌入式设备作业环境。 3.针对复杂环境下,传统的缺陷检测方法难以有效检测缺陷的问题,提出了一种基于YOLOv8改进的检测算法,由轻量级模块构建主干网络,增加小尺度的网络检测层,设计感受野模块,旨在提升网络对特征信息的提取能力。实验结果显示,该算法在检测的精度和准确性都表现更优。旨在提升网络对特征信息的提取能力。实验结果显示,该算法在检测精度和准确性方面均优于传统方法,表现出更强的适应性和鲁棒性。 4.绝缘子缺陷检测系统的设计与部署。现有系统多依赖于人工操作或传统检测技术,智能化水平有限。本文搭建了绝缘子故障检测系统,通过设计专门的无人机硬件、构建边缘端算法部署以及客户端部署,并运行绝缘子故障检测算法。 图[51]表[5]参[80]

关键词： 深度学习   卷积神经网络   环境感知   目标检测   语义分割  

摘要： 近年来,人工智能技术在智慧城市、智慧交通等领域的应用愈发广泛。2017年,国务院印发的《新一代人工智能发展规划》中多次强调自动驾驶技术的重要性。对道路环境展开全面感知是自动驾驶技术必不可少的环节,面向前向视觉的道路环境感知方法具有实时性强、准确性高的独特优势。前向视觉下道路环境感知技术需要对前方车辆、行人等道路目标的类别实现实例级别感知,通过目标检测技术获取目标的准确坐标信息;也需要对道路、天空等背景类别实现像素级别感知,通过语义分割技术确定自动驾驶车辆的可行驶区域。本文基于深度学习和卷积神经网络,针对前向视觉下的道路目标类别感知和道路背景感知分别设计了对应的目标检测算法与语义分割算法,主要工作内容如下: 针对前向视觉下实例级道路环境感知任务,特别是在干扰性天气的场景中,研究了目标检测算法,提出一种改进的YOLOv8n目标检测方法。为了模拟现实场景中雪、雨、雾等干扰性天气对道路前方待检测目标造成的遮挡和能见度不均匀现象,设计了改进Cutout数据处理技术,并利用改进Cutout对BDD-IW数据集进行处理。基于YOLOv8n目标检测算法,在网络骨干部分的每一个C2f模块的前一层添加由“空间到深度”层和非跨步卷积层所组成的模块,弥补跨步卷积导致的图像细粒度信息的丢失问题。利用C2f模块和并行极化自注意力机制构建新的特征提取模块,并替换YOLOv8n骨干中的C2f模块,降低恶劣环境中由于噪声较多导致的信息损失。为进一步提升准确率,修改YOLOv8n的上采样部分,有效聚合上下文信息,扩大感受野。在处理后的BDD-IW数据集上的实验表明,改进的YOLOv8n算法少量增加了网络参数量,准确率提升了6.0%,m AP50值提升了5.0%。 针对前向视觉下像素级道路环境感知任务,研究了语义分割算法,提出了一种改进的Deep Labv3+语义分割算法。基于Deep Labv3+网络,修改了其基础特征提取网络,并在此基础上构建一个全新的多尺度特征提取网络,有效提升了网络的多尺度特征提取能力。将密集空洞空间金字塔池化引入到Deep Labv3+中,弥补了原网络在复杂任务中存在的信息丢失问题。为了让所提取的特征在进行池化操作前可以被网络更全面地理解,在特征提取网络和金字塔池化之间使用了高效多尺度注意力机制。在大型无人驾驶数据集Cityscapes上的实验表明,改进的Deep Labv3+算法OA、MPA、MIo U值分别提升了0.3%、3.3%和3.1%,FPS提升了2.6%。

关键词： 深度学习   轻量级目标检测网络   低比特量化   网络剪枝   知识蒸馏  

摘要： 我国丰富的海洋资源为海洋经济发展提供了广阔空间,但全球贸易增长导致海面船舶密度激增,船舶航行安全、实时监控等面临严峻挑战。无人艇利用船载摄像头检测周边船只,可有效保障海面航行安全,但受限于嵌入式平台处理器性能,其图像处理算法需兼顾准确性与实时性。在此背景下,轻量化目标检测模型成为研究热点,该模型能降低计算存储成本、提升推理效率,契合海面场景实时检测需求。因此,本文提出一种轻量化目标检测算法,并对其进行模型压缩与精度优化,旨在提高算法在算力受限的嵌入式平台上的检测精度与运行速度。主要工作包括如下三个方面: 针对目标检测网络结构复杂冗余、计算资源消耗大、难以满足实时处理需求的问题,本文提出轻量化模块与精度恢复模块。首先,设计轻量化卷积EGSConv模块,并构建Vo V-EGSCSP网络模块;然后,引入轻量化空间金字塔池化技术,优化深层特征图处理,在保持特征尺度多样性的同时,降低网络参数量与计算量。最后,在精度恢复方面采用轻量级上采样算子CARAFE,其以较小的参数和计算代价,减少上采样环节的特征损耗;针对海面微小目标特性,以Wasserstein距离替代传统Io U度量边界框相似性,增强小目标相似度评估能力。 针对改进后轻量级模型仍存在冗余的问题,本文提出通道-卷积核剪枝极限压缩算法与精细化静态量化算法。通过基于缩放因子的通道剪枝,去除网络中不重要通道,缩小模型体积、降低计算量;采用卷积核剪枝,直接剔除深度网络中的冗余卷积核,进一步提升推理速度。对剪枝后的模型进行静态量化时,利用敏感层分析技术,识别对量化敏感的网络层并保持其原有参数,以此减少量化带来的精度损失。 针对剪枝和量化导致的模型精度下降问题,本文提出基于通道注意与引导知识融合的早期衰减蒸馏算法,并完成模型在嵌入式平台的部署。通过通道蒸馏,将知识高效传递给学生网络,优化其特征提取能力;采用引导知识蒸馏,仅用教师网络正确输出监督学生网络,避免错误信息干扰;运用早期衰减策略,动态调整蒸馏损失权重,为学生网络创造合理优化空间。最终,将优化后的轻量级神经网络部署于嵌入式平台,验证其在有限资源条件下的性能表现。

关键词： 智能监控   深度学习   目标检测   多目标追踪   边缘部署  

摘要： 近年来,随着海洋资源开发和安全监控需求的不断增加,浮标平台作为海洋环境监测的重要设备,其安全性正面临复杂自然条件和人为破坏的严峻考验。传统的人工巡检和监控方式存在效率低、响应不及时等不足,因此,迫切需要借助人工智能技术来提升监控效果。本文针对海上浮标平台在安全智能监控方面的需求,主要工作如下: (1)针对海上目标检测中常见的小目标漏检和实时性较差的问题,本文提出了一种基于YOLOv8的轻量化改进模型:YOLO-FE。改进模型在结构上进行多处优化,首先,重新设计C2f模块,用梯度优化的部分卷积取代传统卷积,降低了模型的参数量和计算复杂度的。其次,引入EMA注意力机制,通过并行分支整合空间和通道信息来平衡计算效率与特征表达能力。然后,增加高分辨率小目标检测头,实现更好地捕捉小目标远距离船舶的细节特征。最后,在自建海上目标数据集上进行改进模型实验验证,结果分析表明改进模型在保持检测精度的同时,明显提升了实时推理性能,满足了在浮标平台上部署的需求。 (2)针对在海上复杂环境下目标存在运动预测误差较大和数据关联困难的问题,本文提出一种基于Byte Track改进的多目标追踪算法。在运动预测方面,通过舍弃原卡尔曼滤波状态向量预测传统宽高比参数,改为直接对目标框宽度与高度的动态变化进行预测,降低因船舶突然转向或波浪冲击引发的预测偏差;在数据关联方面,采用融合几何约束与特征相似性的EIOU匹配策略,通过引入中心点距离惩罚项与宽高差异量,增强遮挡场景下的目标身份一致性。通过实验验证了改进后的追踪算法能够有效应对目标短暂遮挡和运动轨迹改变等场景。 (3)设计并实现了软硬协同的浮标智能安全监控系统。在硬件方面,系统采用NVIDIA Jetson Orin Nano作为核心计算开发板,配备CSI(Camera Serial Interface)摄像头和通信模块,搭建完整的监控系统;在软件方面,基于Tensor RT引擎对模型进行量化与推理加速,实现检测速度提升到满足边缘部署的需求,同时利用Py Qt5框架开发了可视化监控界面,实现视频流分析、目标轨迹绘制、异常事件抓拍等功能。通过将浮标智能安全监控系统在不同场景和动态扰动下进行实验,验证了系统的稳定性和实时性,证明了在实际应用中的可行性和可靠性。 综上,本文研究为实现低功耗、高效稳定的浮标智能安全监控提供了一种有效的解决方案。