关键词： 目标跟踪   粒子滤波   深度学习   特征融合   注意力机制  

摘要： 视觉目标跟踪技术在智能监控和人机交互等领域具有重要应用价值,其核心任务是在复杂动态环境下准确预测目标状态。然而,复杂动态环境下目标形变、遮挡、运动模糊及背景干扰等挑战性因素会显著影响系统的跟踪精度与鲁棒性。针对这些问题和挑战,本文基于粒子滤波(Particle Filter,PF)算法框架,融合深度学习技术与多种优化策略,提出两种创新性跟踪方法,以提升跟踪系统的鲁棒性、准确性和环境自适应能力。主要研究内容可概括如下: (1)针对目标遮挡和粒子退化问题,提出了一种融合Mean Shift与改进粒子群优化算法的自适应抗遮挡粒子滤波方法。该方法通过Mean Shift算法引导粒子向高似然区域收敛以提升定位精度;采用改进的粒子群优化算法替代重采样过程,在粒子收敛效率与多样性之间建立动态平衡;同时,构建基于分块检测的自适应抗遮挡模块,实时感知遮挡事件并调整运动模型,以应对目标遮挡导致的跟踪丢失问题。实验表明该算法在遮挡、形变及旋转场景下跟踪精度提升显著,相较主流跟踪器表现出更强的环境适应能力,为解决粒子滤波框架的固有缺陷提供了新思路。 (2)针对动态多变环境中目标特征判别性弱和模型泛化能力受限的瓶颈问题,提出了一种基于数据增强的深度粒子滤波跟踪方法。该方法将多种注意力机制引入特征表征网络,并将此深度神经网络集成至改进的PF框架;通过迁移学习策略实现跨场景特征泛化,并融合多种传统特征以构建鲁棒表观模型,增强目标与背景的区分能力;同时,引入生成对抗网络所驱动的数据增强策略生成高质量合成样本,缓解训练数据不足的问题,增强了模型对动态环境的适应性与长时跟踪的容错性。实验验证了该算法在目标形变、快速运动及光照变化等挑战场景下能够展现出优越的跟踪稳定性,在精确度和成功率方面均优于其他主流先进跟踪器,说明了所提出的特征协同优化机制可为动态环境目标跟踪提供新的技术路径。

关键词： 机器人抓取   多模态融合   Transformer   目标检测   轻量化  

摘要： 近些年来,随着人工智能技术的快速发展,机器人领域正在迎来新一轮的变革。以深度学习为代表的数据驱动方法凭借其强大的特征提取能力,成功克服了传统机器人抓取检测任务中依赖人工设计的几何特征、复杂环境下泛化能力差等问题,通过卷积神经网络、Transformer架构、强化学习等方法对多模态感知数据进行端到端训练,使机器人系统实现不同形状目标物体的识别定位和抓取规划。但现有的抓取检测办法为了提高性能搭建了结构复杂的网络,不仅使得机器人抓取网络的参数量庞大运行效率低下,而且阻碍了它们在其他低功耗设备上的移植和部署。与此同时,基于单一模态的目标检测及机器人抓取任务随着网络的进一步加深暴露出潜在的问题,单模态数据无法记录相对完整的信息特征,使得抓取性能受到限制。 为了解决上述问题,本硕士论文聚焦于卷积神经网络的轻量化网络架构和Transformer的全局特征提取能力,基于不同模态的特性使用任务适配良好的多模态融合方法构建兼具精度高与适应性强的智能应用模型。主要研究内容包括以下几个部分: （1）为解决机器人抓取任务中不同模态的数据无法充分对齐的问题,针对RGB图像和深度图像的双模态输入数据,设计智能双模态对齐Transformer深度网络（SATNet）,实现轻量化网络（模型大小为0.27M）下的高精度抓取。在Cornell数据集上进行了实验验证,推理时间为16.3ms,取得97.8%的抓取准确率,以极低的计算成本取得较好的性能。 （2）为解决传统的视觉Transformer中位置信息未得到有效利用,以及位置编码序列与块序列性质不同的问题,我们提出基于序列感知的宽度Transformer深度网络（BroT）,通过不同的展平方式提取出二维图像内未被使用的位置信息。在BroT网络中设计了独特的二维块位置序列感知模块（PPSAM）,通过以四种不同序列展平特征图的方式实现位置信息的有效利用,从而获得各个patch token的深层位置信息以及与其他块之间的相对位置信息,并使用宽度Transformer代替传统的顺序Transformer对特征并行处理,在没有提高网络大小的同时实现不同位置信息特征的并列式操作。我们在Cornell抓取数据集和Jacquard抓取数据集上进行实验验证,以9.6M的网络规模分别取得99.4%和93.8%的准确率;另外也在VOC数据集上进行实验,在BroT作为主干网络的情况下其表现要优于Vi T、Res Net-101等网络模型。 （3）为解决传统块序列信息交互不足的问题,提出了带有额外特殊token的智能视觉Transformer（E-Transformer）,通过独有的带有额外token的自注意力机制（ETSA）,在基础架构不变的情况下提高了信息交互,同时也抑制了计算复杂度的膨胀。另外我们还设计了压缩激励前馈网络（SEFF）来替代传统的前馈网络,几乎不影响性能的前提下减轻了网络参数量,将多头ETSA和SEFF结合后的E-Transformer用于其他网络从而获得全新的SET网络模型。在Cornell数据集、DUTS数据集、VOC数据集上进行实验验证,分别对应机器人抓取检测、显性目标检测和语义分割三种不同的检测分割任务。最终在Cornell数据集上以1.8M的参数量取得98.3%的准确率,在DUTS数据集上取得0.858的8)(6值,在VOC07+12数据集上取得61.3%的m Io U,不仅要优于大多数现有网络模型,同时也优于同等架构的Transformer模型,显示出改进后E-Transformer的优越性能。 （4）为解决3D场景感知中模态融合不足的问题,提出了基于预训练CLIP的多模态融合模型Point MIX,通过从点云、图像、文本等数据中获取不同模态信息来实现同种数据不同特征的交互,进一步增强了3D点云的特征表达能力。另外我们设计了相似特征聚合Transformer模块（SFAT）,在经过最远点采样后使用特征空间余弦相似度进行点聚类,帮助点云更高效的进行全局特征提取。Point MIX借助预训练的CLIP模型和多模态融合方法在Model Net40和Model Net10上取得93.9%和95.8%的分类准确率,表现出其在3D场景环境感知的强大潜力。

关键词： 多输入神经网络模型   重新参数化   神经网络加速   计算机视觉  

摘要： 近年来人工智能呈爆炸式增长,广泛应用到智能驾驶、医疗健康、金融投资等领域,其中多输入神经网络模型凭借其在多视角物体识别、多模态信息融合等任务中的显著性能优势成为研究热点。该类模型通过并行处理来自不同视角、模态或传感器的多源数据有效提升模型性能,在复杂场景下展现出巨大的应用潜力。然而传统多输入神经网络采用的并行处理结构在提升性能的同时,也带来了计算资源的问题。随着输入数量的增加,模型的计算开销和资源消耗呈线性甚至指数级增长,严重制约多输入网络在移动终端、嵌入式设备等资源受限场景或实时性要求较高的应用场景中的部署。 在多种模型加速技术中,重新参数化因其在提高模型推理效率的同时不影响模型性能而备受关注。该方法在训练阶段引入多分支以增强模型性能,在推理阶段将多分支转换为单分支提高推理效率。该技术在单输入场景下取得良好成效,但在多输入网络中的应用尚未得到有效解决。针对这一问题,本文提出一种面向多输入神经网络模型的高效加速结构——重新参数化聚合头(Reparameterization Head,RepHead),通过聚合重建策略将多输入转换为单输入并使用重新参数化将模型转换为单分支网络,在保证模型性能的同时大幅降低计算成本和显存消耗。本文的主要贡献体现在以下三个方面: (1)提出了用于多输入神经网络模型加速的RepHead,采用聚合重建策略将多输入数据聚合并重建为近似于原始输入的重建输入,使得引入RepHead的多输入神经网络模型既满足重新参数化的要求又能保留多输入场景的特征信息完整性。然后通过重新参数化得到单分支的推理模型,在保证模型精度的同时大幅度降低计算时间和显存占用。 (2)基于经典多输入网络MVCNN和PointNet,引入RepHead构建对应的RepMVCNN和RepPointNet模型,验证本文所提出RepHead的普适性和有效性。通过实验证明,经重新参数化后的模型均能维持与原始模型近似的分类准确率,并且在推理速度、计算量和内存占用方面有了显著优化。 (3)为促进多输入网络加速算法的研究和应用,本文设计并开发了一个多输入网络训练与加速原型系统。该系统集成了数据管理、模型训练、参数优化、可视化评估等全流程功能,支持用户灵活配置训练参数并一键完成模型的重新参数化转换。

关键词： 视觉SLAM   深度学习   点线特征   目标检测   稠密建图  

摘要： 近些年来,随着人工智能算法的迅猛发展,加上计算机视觉技术持续创新迭代,基于视觉的同时定位与建图技术迎来了突破性发展。然而传统视觉SLAM系统一般假定所处环境为静态。在室内动态环境下,传统视觉SLAM算法存在显著短板,这极大地制约了其在实际场景中的广泛应用。针对这一问题,本文提出了一种基于点线特征的RGB-D稠密语义SLAM算法,主要研究内容如下: 针对动态视角变化与光照条件波动耦合作用场景下特征点分布不均匀以及描述符匹配正确率下降,导致图像关键特征数量过少甚至缺失的问题,提出采用Superpoint算法替代传统的ORB点特征提取算法,并且结合EDLines(Edge Drawing based Line Segment Detector)线特征增强了在复杂场景下的鲁棒性和匹配精度。与原始ORB-SLAM3算法相比,本文所提算法可以提高在视角变换和环境变化场景下的定位精度。 针对室内动态环境下存在对动态物体开展定位时,定位精度不够高、实时响应缓慢以及系统鲁棒性较差的问题,提出利用YOLOv8目标检测算法并结合极线几何约束有效剔除动态物体产生的特征点线,绝对轨迹误差提升精度达到85%以上,显著降低了定位误差。实验对比分析表明,本文算法在处理复杂动态场景时,具有更强的鲁棒性和适应性,能够为SLAM系统在实际应用中提供更加可靠和准确的定位信息。 针对传统SLAM框架生成的稀疏点云地图在细节恢复方面的不足,本文在前面的基础上,采用滤波器优化策略,成功构建了低噪声、高精度的稠密语义点云地图,并随之转为更好保存的八叉树地图,节省了空间,方便后续进行路径规划或机器人导航,实验对比分析表明,该系统在TUM数据集和实际场景上均可得到较高精度的稠密地图。 实验结果表明,本研究提出的动态环境视觉SLAM在复杂室内场景中展现出良好的环境适应性,成功解决动态场景中的地图畸变问题,验证了改进算法在动态环境中的实用价值。

关键词： 显著性目标检测   半监督学习   对抗学习   一致性正则化  

摘要： 显著性目标检测是计算机视觉领域的一个核心研究方向,旨在利用计算机模拟人类视觉系统的感知机制。对比传统的显著性目标检测方法,基于深度学习的方法采用端到端的学习模式从大规模数据中提取特征,减少了对先验知识的依赖,但仍然需要大量人力去精细标注数据集。半监督学习的引入为降低标注成本提供了可行的解决方案。基于此,本文提出了两种半监督显著性目标检测方法,能在少量有标签数据的基础上实现高效的特征学习并减少对标注数据的依赖。本文不仅关注自然场景中的显著性检测,还深入探讨其在特殊工业场景(如带钢表面缺陷检测)下的应用。针对自然环境与工业带钢表面缺陷的不同特性,分别提出了对应的半监督显著性检测算法。本文的主要研究工作如下: (1)针对自然图像中场景复杂、多个显著性目标重叠以及背景干扰等问题,提出了一种基于一致性正则化的半监督显著性目标检测方法。该模型使用Mean-Teacher框架并结合自适应加权伪标签法,提升伪标签的可信度。引入不同程度的数据增强以及对抗特征扰动以增强一致性学习:学生模型使用强增强数据进行训练,教师模型利用弱增强数据生成伪标签并为无标签数据提供监督信息,同时计算特征扰动并注入学生模型,以增强网络的泛化能力。特征提取网络基于改进的PVTv2,能够有效提取高分辨率全局特征,提升对细小目标与复杂场景的适应性。消融实验与对比实验表明,该模型在定量指标与检测效果上均表现优越,能够有效应对复杂场景中的背景干扰,并精准检测多目标对象。 (2)在工业实际中,带钢缺陷样本数据难以获取且往往缺少标签,有标签数据和无标签数据不均衡。此外,缺陷数据存在前背景对比度低、场景单一、缺陷尺度不均等以及噪声干扰等问题,增加了检测难度。针对上述挑战,提出了一种基于生成对抗的半监督显著性目标检测方法,用于带钢表面缺陷检测。该模型由生成网络和鉴别网络构成:生成网络中的编码器使用特征提取模块(Feature Extraction Module,FEM)提取多层次特征,然后通过多尺度整合细化模块(Multi-scale Integration Refinement Module,MIRM)融合这些特征并细化边缘细节;解码器使用双分支结构,分别训练有标签数据和无标签数据,有效消除了监督信息的不一致。鉴别网络用于区分生成网络的预测结果和真值标签,并为生成网络提供额外监督。在公开带钢数据集上的实验表明,该方法显著优于其他方法,能有效利用无标签数据提升检测效果,准确定位并突出缺陷。与现有方法相比,该方法能够过滤背景噪声,检测不同尺度的缺陷,并较好地保留复杂结构缺陷的细节信息。 (3)基于本文提出的两种显著性目标检测算法,设计并实现了一款跨场景显著性目标检测系统,支持自然场景与工业带钢缺陷场景的显著性检测可视化功能。系统功能模块包括用户登录注册、图像读取与展示、模型选择与检测、检测结果可视化与存储以及日志记录,并根据实际应用需求设计了错误处理机制和数据校验功能。系统界面简洁直观,操作便捷,为显著性目标检测技术的实际应用提供了可靠的技术支持。

关键词： 课堂行为分析   AVA数据集   目标跟踪   智慧教育  

摘要： 智慧教育开启了智能教学辅助与教育管理新纪元,本研究引入深度学习等前沿技术,设计和实现了基于课程流程的学生课堂行为分析评价系统,该系统从学生的课堂行为评估学生的课堂表现,旨在便于学校分析整体教学情况,调整教学安排,推动课堂教学质量的提升,同时为教师提供强有力的支持工具,助力其高效实施课堂管理工作。本文主要有以下创新点: (1)提出了一套高效的AVA格式数据集制作方案,在使用基于预训练模型半自动标注方法提高标注效率的同时,通过筛选最大检测框中心覆盖的方法解决了半自动标注方法带来的标注框抖动的问题,保证了AVA数据集的质量。并构建了总计127050张训练图像的九类学生课堂行为数据集(StuAct9),九种行为包含:低头、抬头、睡觉、玩手机、站立、喝水、举手、聊天及书写。并公开了相关处理脚本,为类似研究提供技术支持。 (2)设计了三阶段的学生课堂行为识别方案。在学生目标检测阶段,针对课堂学生遮挡严重导致的学生目标检测效果差的问题,通过在原YOLOv7的损失函数中引入排斥力损失项,优化了YOLOv7模型对学生检测的训练。在学生目标跟踪阶段,针对现有DeepSORT跟踪算法存在跟踪学生目标时ID频繁跳动的问题,本文提出了IOU跟踪累计定位算法,通过计算前后帧目标框的IOU(交并比),以此判断目标的关联性,当IOU值超过预先设定的阈值时,便将对应的目标框认定为同一目标,并以此为基础在每个目标框上增加存活属性,表征对应学生目标的持续可见性,增强跟踪的稳定性,并实现了学生座位的定位功能。在学生行为分类阶段,考虑到SlowFast网络结构存在局限性,基于其结构中的Slow路径与Fast路径关注的特征不同,采用SE机制将对应维度的特征进行挤压-激励分别提出了3DSCSE(空间-通道增强)和3DTSE(时间增强)模块,构建出SlowFast-TCS行为模型,增强了对空间-通道特征和时间特征的提取能力。 (3)为了进一步提升三阶段学生行为识别方案的整体推理速度,本文针对学生行为分类阶段,运用基于特征图的知识蒸馏技术,在对全连接层进行蒸馏的基础上,进一步针对SlowFast-TCS和SlowFast-R18双分支网络结构中最后两层的输出特征图开展蒸馏工作。将改进后的SlowFast-TCS模型轻量化到SlowFast-R18模型。 (4)设计并开发了学生课堂行为分析评价系统。按课程流程将系统划分为课前准备、上课签到、上课中、下课四个环节。针对各环节任务实现了对应功能,如学生信息管理、课前签到(人脸识别)出勤统计、实时行为评分、数据分析、数据可视化、上课结果导出等功能,这些功能不仅可以分析出班级的整体课堂情况,还可以分析出具体学生的课堂行为状态,便于教学管理部门了解各教室的学生听课情况,也辅助教师对课堂进行高效监督和管理。本文还提出了一套基于学生行为的评分策略,针对具体行为的评分增加额外判定条件,保证行为评分的公平性,最后将行为得分标准正态分布到设定范围的课堂评分上,体现学生之间的课堂差异性。

关键词： 宫颈液基细胞   目标检测   轻量化模型   智能检测系统  

摘要： 宫颈癌在女性群体中具有较高的发病率,被世界卫生组织列为重点防治的妇科疾病。调查表明,人乳头瘤病毒的持续感染是该病症发展的主要致病因素。通过有效的早期筛查手段,能够显著降低该疾病的患病风险及致死概率。目前,宫颈液基细胞学检查是常用的筛查方法,它通过显微镜分析细胞图像来帮助早期诊断宫颈病变。但是,传统的人工阅片方法需要较长时间,容易受到医生经验的影响,效率低,且容易产生误差。因此,迫切需要开发更高效、准确的自动检测技术。近年来,基于深度学习的目标检测技术在医学图像分析中得到了广泛应用。但是,宫颈液基细胞图像中的细胞大小不一,形态差异微小、背景复杂,这使得现有的检测算法在实际应用中经常遇到精度低、模型庞大、计算复杂等问题。为解决这些问题,本研究提出基于深度学习的宫颈液基细胞自动检测方法,开发了多尺度高精度检测算法和轻量级高效检测算法,并成功实现了一个完整的智能检测系统,具体内容如下: 首先,本文提出了一种基于Cell-YOLOv8的多尺度宫颈液基细胞检测方法。该方法解决了宫颈液基细胞图像中尺度变化大、细胞特征细微差异的问题。为此,提出卷积注意力融合模块CAAM增强了网络的特征表达能力。同时,引入并重参数化内容感知上采样算子CARAFE,优化网络结构。此外,采用WIoUv3损失函数,有效平衡样本质量对模型训练的影响,提升了模型的鲁棒性和泛化能力。实验结果显示,在PQCC和Herlev两个公开数据集上,该方法能够显著提高宫颈液基细胞检测的精度,相比当前主流方法,性能有了显著提升,mAP@0.5达到了83.2%。这表明该方法具有较好的临床辅助诊断应用潜力。 其次,尽管Cell-YOLOv8模型具有较高的检测精度,但其模型较大,计算复杂度高,不适合在移动设备和边缘计算平台上快速部署。因此,本研究提出了一种轻量级模型VCell-YOLOv8。该模型采用高效的Vanilla Net结构作为主干网络,并结合双效通道注意力机制DECA,有效增强细胞图像的关键特征响应能力。还创新性地引入局部跨通道交互策略,进一步提升网络对细胞局部特征的捕捉能力。此外,为了解决目标检测中回归过程的梯度失衡问题,提出并采用PIoUv2损失函数。在减少模型参数量的同时,提升模型的训练稳定性和收敛效率。实验结果表明,VCell-YOLOv8模型能够在大幅减少计算量和模型规模的情况下,保持与Cell-YOLOv8相近的检测精度,更好地满足工业应用中实时性和适应性的需求。 最后,为了实现宫颈液基细胞检测方法的工业化应用,本文以VCell-YOLOv8算法为基础,设计并开发了一套完整的宫颈液基细胞图像检测系统。该系统集成了用户管理、数据标注、数据集划分和检测等核心功能,具备良好的易用性和友好的界面。系统能够自动识别并标记细胞类别和位置,帮助医疗人员快速定位病变细胞,从而提高诊断效率,减少人为失误和压力。实际测试表明,该系统不仅自动化程度高,运行稳定,而且能显著提高临床诊断的效率和准确性,具有良好的应用前景。

关键词： 无人机遥感   玉米   表型检测   语义分割   目标检测   多光谱  

摘要： 玉米是全球最重要的粮食作物之一,精准检测玉米的生长状态对农业生产管理有着重要意义。本研究结合深度学习算法与无人机遥感技术,围绕玉米倒伏区域识别、玉米雄蕊目标检测以及玉米生育期识别三个任务展开深入研究。主要工作如下: (1)提出了一种基于图像融合和改进PIDNet的玉米倒伏区域识别方法,将可见光RGB影像与DSM高度信息进行融合,达到两者优势互补的目的。选择基于高效多尺度注意力的三分支网络模型PIDNet,并融合EMA自注意力模块提高网络特征处理能力和针对不同生育期的倒伏识别能力,实现了吐丝期、乳熟期和腊熟期的玉米倒伏区域准确检测。通过实验验证,基于添加EMA模块的PIDNet模型的玉米倒伏检测精度优于U-Net、PSPNet、Deep Labv3+、UHRNet和标准PIDNet模型,通过分析对比实验证明了融合DSM高度信息和添加EMA模块对倒伏区域检测能力的提升,证明了改进模型拥有较强的倒伏区域识别能力。 (2)提出了一种基于改进YOLOv8s的玉米雄蕊目标检测方法,解决了玉米雄蕊在无人机影像中因形态不一、重叠遮挡和复杂背景等问题导致的检测难题。将YOLOv8s中的Backbone网络更换为Faster Net,有效减少网络模型的参数量和计算量,在保证玉米雄蕊检测精度的同时大幅提升了网络模型的检测速度;并添加SPD-Conv模块,减少模型对特征图信息丢失和加强对特征表示的学习。通过实验表明,改进后的YOLOv8s模型在雄蕊检测任务的表现明显优于YOLOv4、YOLOv5和YOLOv7目标检测网络,而且改进后的网络达到的精度较原始模型有较大提升,在各种检测难题上也有了不同程度的解决。该方法为玉米生长监测、产量预估和人工辅助授粉决策提供了可靠的技术支持,对提升玉米育种与田间管理智能化水平具有重要应用价值。 (3)提出了一种基于植被指数与改进Swin-UNet网络的玉米生育期识别技术,通过采集玉米农田的多光谱遥感影像,利用多光谱各个波段计算生成各种植被指数图,将其分别与原始多光谱数据进行图像融合,增强植被特征的表征能力,并分析比较融合了不同植被指数的多波段影像在生育期识别上的表现,分析比较每种植被指数的优劣势;同时对Swin-UNet网络进行改进,将SENet模块添加到Swin-Unet的每个跳跃连接处,从而为网络的多尺度预测和分割提供了更精细的特征,最后通过实验验证,基于添加SENet模块的Swin-Unet模型的玉米生育期识别精度优于U-Net、PSPNet、Deep Labv3+、UHRNet和标准Swin-Unet模型,证明了改进模型对于玉米生育期准确识别的合理性。 本研究结合深度学习算法与无人机遥感技术,围绕玉米倒伏区域识别、玉米雄蕊目标检测和玉米生育期识别三个关键任务展开研究,分别提出了基于图像融合和改进PIDNet的玉米倒伏区域识别方法,基于改进YOLOv8s的玉米雄蕊目标检测方法,和基于植被指数与改进Swin-UNet网络的玉米生育期识别技术。研究结果表明,本文提出的方法能够高效、精准地提取玉米种植中关于倒伏、雄蕊和生育期等关键农情表型信息,为玉米种植的精准管理提供了技术支撑。

关键词： 遥感图像   图像去雾   小目标检测   YOLOv8  

摘要： 针对在台风天气下，遥感成像存在大量雾气遮挡导致图像质量严重下降与目标检测困难，以及现有相关研究在电力场景下泛化性不足的问题，提出一种结合暗通道去雾与YOLOv8的改进方法。该方法采用二阶段的处理方式，通过累积分布函数分析图像颜色分布，结合暗通道算法对图像进行色彩自适应去雾处理，有效改善雾天场景下目标的表达，同时为进一步提高遥感图像中多尺度目标的检测精度，在YOLOv8算法网络中增加小目标检测层，深入提取小目标特征，并使用MPDIoU代替CIoU，降低模型的计算复杂度。实验显示，该算法对电力杆塔和风力发电机的检测精度分别提升8.1%和3.9%。研究结果证明该算法在含雾遥感图像处理与目标识别的方面具有可行性与有效性，可为含雾遥感图像的去雾处理与户外大型电力设施的识别提供可靠的技术支持。

关键词： 红外暗弱目标   YOLOv8n改进算法   U-Net嵌套网络   目标检测   深度学习   级联策略  

摘要： 红外探测设备因其强抗干扰性、良好隐蔽性和全天候工作能力,在空域监测、红外制导、反无人机侦察等实际应用领域具有重要的应用价值。然而,红外图像中暗弱目标因信噪比低、尺寸小、纹理特征弱,且背景复杂、噪声干扰显著等特点,传统算法存在检测精度低、虚警率高等问题,难以满足实际任务需求,红外暗弱目标检测技术成为当下研究的热点。近年来,基于深度学习的检测方法虽取得一定进展,但现有网络多面向如建筑、汽车、动植物等常规目标设计,对红外暗弱目标的针对性不足,导致特征提取不充分、特征信息利用率低、小目标易被深层网络淹没。对红外暗弱目标的检测通常被分为面目标识别和点目标检测两大类。面目标识别主要针对具备一些在图像中占据有一定的面积、模糊形状特征、对比度低、特征信息有限的目标;点目标检测则聚焦于尺寸极小、特征稀疏的目标,且通常淹没在复杂的背景噪声中,此外,由于面目标和点目标类型往往难以预先判定,单一的算法易导致漏检或虚警问题。因此,本文深入探讨了红外暗弱目标检测技术,重点研究基于改进Yolov8n的红外暗弱面目标识别分类算法与基于U-Net嵌套网络的弱小点目标检测算法,以及二者基于自适应级联策略的联合检测算法。 针对红外暗弱面目标,本文提出UT-YOLOv8n（Yolov8n based on UniRepLK Block and Triplet Attention）算法。首先,在YOLOv8n的特征融合网络输出端引入三重注意力机制,通过跨维度交互增强对目标区域的关注;其次,新增160×160分辨率的小目标检测层及检测头,融合浅层细节特征与深层语义信息;最后,在空间金字塔池化中结合大内核卷积模块,扩大感受野以捕捉目标的全局形状特征。实验表明,UT-YOLOv8n在自建数据集上的平均精度（mAP@0.5）达到95.9%,较原始YOLOv8n提升2.1%,同时浮点运算量仅增加至14.4 GFLOPs,检测速度满足实时性需求。在公开数据集SIRST上,其mAP@0.5为92.0%。 针对红外弱小点目标,本文提出TUNN（Three U-Net nested net）算法。该算法通过嵌套三个U-Net网络构建7层多尺度特征提取模块(（U-Net nested Modules,UNM）,结合通道与空间注意力机制实现浅层与深层特征的渐进融合;在特征金字塔融合部分引入内容引导注意力模块,增强目标细节特征;同时采用自适应阈值焦点损失函数,动态调整目标与背景的损失权重以缓解类别不平衡问题。实验结果显示,TUNN在NUDT数据集上的检测概率（Pd）为98.49%、虚警率（Fa）为6.33×10-6、交并比（IoU）为81.83%,在NUAA数据集上Pd为97.31%、Fa为5.67×10-6、IoU为73.45%,均优于现有算法。 针对任务目标类型的多样性,本文提出一种“特征量化-动态决策-单模型执行”的自适应检测级联策略算法,通过动态分析输入红外图像的轻量级特征,智能选择最优检测算法面目标识别或点目标检测算法,实现对不同类型目标的精准检测。 综上所述,本文对红外暗弱目标检测技术的国内外研究现状和对应的技术难点进行了归纳,同时对研究所涉及到的相关技术展开了介绍。通过分析红外暗弱目标的特性、现有深度学习网络结构的不足,针对暗弱目标传统算法的难点,本文提出了基于改进YOLOv8n的红外暗弱面目标检测识别算法（UT-YOLOv8）和基于U-Net嵌套网络的红外弱小点目标检测算法（TUNN）,以及面、点目标的自适应级联检测算法,通过实验验证了算法的有效性,并在某红外探测识别系统中实际应用,在复杂背景下自适应实现红外暗弱目标的高精度识别和弱小目标的高效检测。