关键词： 目标检测   YOLO   铁轨表面缺陷   嵌入式部署  

摘要： 随着铁路运营里程的不断增加以及列车运行速度与载重的持续提升,铁轨在长期使用过程中,不可避免的会受到各种因素的影响,从而产生多种表面缺陷,进而引发严重的安全事故。铁轨表面缺陷涵盖多种类别,现阶段的神经网络算法主要针对单一缺陷检测,在多类别检测方面没有足够的可靠性与实时性。为了解决这个问题,本文以铁轨表面缺陷为研究对象,提出了一种基于深度学习的铁轨表面缺陷检测系统,主要有以下几个方面: (1)针对当前铁轨图像数据匮乏且图像质量较低的问题,本研究开展了系统性数据采集与优化工作。在数据获取阶段,对采集设备进行分析与选型,将硬件搭载于轨道巡检车平台进行图像采集任务。由于获取的数据存在光照不均、背景复杂等问题,采用直方图均衡化的预处理方案提升了图像质量。 (2)针对铁轨表面缺陷形状不一而引起精度不高和误检问题,提出了基于YOLOv8算法的改进方法。首先,通过数据增强方式弥补样本不平衡和数量不够的问题,并构建了数据集。其次,在特征提取网络上嵌入全维动态卷积ODConv模块;网络深层替换空间金字塔池化SPPCSPC模块;网络末端引入Transformer Block模块;在特征融合网络中构建了多尺度特征融合MFFBlock模块并增加浅层信息检测层。最后,对改进模型进行测试验证。结果显示,改进后的模型m AP和准确率分别提高了5.9%和2.1%,有效提高了模型的检测精度。 (3)针对实际部署场景中计算资源有限的问题,以第三章精度改进的算法为基准模型,提出了铁轨表面缺陷检测算法的轻量化改进方案。在主干网络中引入Stars Block模块;在颈部网络中构建了重参数化的C2f-Rep Ghost模块;采用轻量级卷积Ghost Conv模块设计了分类分支Detect＿LW模块。通过在构建的数据集上验证,轻量化改进后的模型参数量降低了60%,计算量减少了21.2%,同时保持着较高的检测精度,在检测精度与模型计算效率之间实现了良好的平衡。 (4)将本文改进后的模型在嵌入式设备NVIDIA Jetson TX2 NX上部署验证,利用Py Qt5框架开发了铁轨缺陷检测系统界面。测试结果表明,改进的模型能在嵌入式设备上流畅运行,并保持较高的检测精度,验证了改进方法的可行性。

关键词： 深度学习   目标检测   医学超声图像检测   甲状旁腺功能亢进   甲状腺结节   Transformer   RT-DETR  

摘要： 甲状旁腺功能亢进是因甲状旁腺激素过度分泌引发的代谢疾病,典型表现为腺体增生;甲状腺结节则是甲状腺组织局部异常增生形成的病变。两种病变均发生于颈部甲状腺区域,其中甲状旁腺主要分布在甲状腺周围,临床上主要通过超声影像进行鉴别诊断。由于甲状旁腺与甲状腺位置紧密相邻且位于甲状腺背面,且二者病灶在超声中均呈现形态相似的低回声团块,临床诊断中易出现误诊与漏检。本研究针对颈部超声图像中甲状旁腺功能亢进和甲状腺结节病灶易混淆的检测难题,整合中日友好医院标注的甲状旁腺功能亢进超声影像与TN3K开源数据集,构建了甲状腺结节数据集(TNSD)、甲状旁腺功能亢进数据集(HPTD)及混合病灶数据集(HPT-TNSD)三类标准化超声数据集。研究基于Real-Time Detection Transformer(RT-DETR)目标检测算法展开研究,通过改进模型结构来提高超声图像中两种病灶的检测精度、降低跨类别误检率,并实现轻量化部署。主要研究内容如下: 1、本文针对低对比度超声影像中病灶和其他组织的边界模糊,模型定位精度低,两种病灶之间容易出现跨类别之间误检的问题,在RT-DETR特征提取网络中嵌入非对称卷积模块,采用定向卷积核增强模型对病灶方向特征的敏感性,针对性的捕捉图像的线性结构。改进后的AC-RT-DETR模型对两种病灶的检测精度显著提升,跨类别误检率显著降低,且模型参数量减少。 2、针对模型对图像中细节信息提取能力不足,本文提出分层残差融合模块(HRFM),结合通道-空间注意力机制(CSAM),进一步优化了RT-DETR的多尺度特征融合模块。通过构建层级特征融合架构,实现了浅层细节特征与深层语义特征的高效交互和更细粒度的多尺度特征融合;改进CSAM的权重映射策略以增强通道间全局依赖关系建模能力,缓解特征融合过程中的信息丢失与冗余问题。本文提出的新型检测网络ACHR-RT-DETR提升了对两种病灶的检测精度和定位精度,有效的减少了漏检和误检,网络参数量与计算量显著减少,在复杂超声影像场景下具有更高的检测精度与泛化性能,为资源受限的便携式医疗设备的部署提供了可行性方案。

关键词： 大豆花荚   落花落荚   目标检测   深度学习  

摘要： 田间大豆花荚数量变化是影响大豆产量的重要因素,快速准确获取开花数、结荚数、落花数、落荚数对于大豆品种选育具有重要的理论和实用意义。但在田间自然环境下难以快速准确的进行大豆花荚表型调查。随着深度学习技术的飞速发展,利用信息化技术手段可实现田间大豆花荚表型调查,为农学专家提供技术手段和数据支撑。具体工作如下: （1）对不同种植密度下大豆落花落荚理论进行分析,为探究最佳种植密度提供理论基础。通过对深度学习原理进行分析,确定采用单阶段目标检测算法构建田间大豆花荚检测模型。 （2）设计田间大豆花荚图像采集装置,获取田间大豆花荚图像数据,通过数据增强方法扩增数据集,使用YOLO系列目标检测算法进行模型训练,YOLOv8模型检测效果最优,P值为0.891,R值为0.852,F1值为0.871,m AP值为0.894,检测速度为10.2 ms/帧,权重文件为16.9 MB。 （3）为提升模型性能,对YOLOv8模型进行优化。通过消融试验确定最优组合为Vanilla Net主干网络、EMA注意力机制模块和WIoU位置损失函数三种改进方法,构建田间大豆花荚检测模型YOLOv8-VEW。模型P值为0.951,R值为0.926,F1值为0.938,m AP值为0.962,检测速度为7.0ms/帧,模型权重文件为27.5MB。 （4）YOLOv8-VEW模型在不同条件下的大豆花荚数据集上检测效果较好,通过YOLOv8-VEW模型对大豆花荚检测与人工进行对比,R2分别为0.98233和0.98253,能够满足复杂田间环境下大豆花荚任务需求。 （5）利用YOLOv8-VEW模型对不同种植密度下大豆花荚进行检测,分析不同种植密度对大豆花荚数量的影响,为农学专家探究合理密植提供技术支撑。

关键词： 数据分布差异   计算机视觉   对比学习   对抗学习  

摘要： 在信息时代,图像作为重要的信息载体,广泛应用于计算机视觉的多个领域。尽管深度学习显著提升了图像数据处理的性能,但其依赖于训练集和测试集数据同分布的假设,而在实际应用中,数据分布差异往往导致模型泛化性能下降,限制了其实际效果。本文针对图像数据分布差异问题展开研究,分别从自然图像和医学图像领域选取了目标计数与虚拟染色任务作为研究对象。虽然这两个任务的应用场景不同,但均面临数据分布差异带来的共性挑战。针对这些挑战,本文提出了基于对比学习和对抗学习的方法,旨在提升模型在数据分布差异条件下的性能表现。本文的主要工作如下: 1.在自然图像领域的目标计数任务中,现有方法(如人群计数、车辆计数等)通常仅能处理训练集中已知类别的目标,难以有效应对测试集中出现未知类别所导致的数据分布差异问题。本文针对这一问题,提出了一种基于对比学习的目标计数算法。该算法通过对比学习预训练模块来学习领域不变性特征,提升了模型在数据分布差异条件下的性能。实验结果表明,本文提出的基于对比学习的方法在FSC-147数据集上的MAE和RMSE指标均达到较优水平,有效缓解了目标计数任务的数据分布差异问题。 2.在医学图像领域的内镜图像虚拟染色任务中,目标是将白光内镜图像转化为虚拟染色图像。因其缺乏精确配对的白光与染色图像,主流方法通常对真实染色图像褪色为灰度图后再自监督学习。但褪色后的白光和染色图像存在巨大的数据分布差异:在染色图像的灰度图中,需要上色的区域通常较暗,而白光图像的灰度图则缺乏这种特性。这影响了虚拟染色效果。本文针对这一问题,提出了一种基于对抗学习的虚拟染色算法。该方法利用对抗学习机制缩小源域和目标域之间的分布差异,从而生成高质量的虚拟染色图像。此外,本文与四川大学华西医院合作,构建了医学内镜虚拟染色任务数据集,并在该数据集上进行了实验验证。实验结果表明,无论是在客观评价指标还是在主观的染色效果评估中,均优于现有的基于图像上色和风格迁移的方法。

关键词： 多目标跟踪   目标检测   重识别特征   卡尔曼滤波   双线索分级数据关联  

摘要： 多目标跟踪技术就是对视频中运动的多个目标进行检测,以捕捉多个目标对象的实时位置和运动轨迹。它广泛应用于智能监控、视觉导航、军事侦察等领域。在目标被遮挡、外观相似以及非线性运动等密集场景下,以YOLOX实现多目标检测、以卡尔曼滤波实现目标位置预测和以数据关联匹配实现轨迹更新的OC-SORT(Observation-Centric SORT:Rethinking SORT for Robust Multi-Object Tracking)多目标跟踪方法性能表现突出。但面向密集场景多目标跟踪任务时,OC-SORT算法跟踪性能往往不佳,主要存在三方面问题:(1)YOLOX检测器特征融合方式容易产生信息冗余且检测准确性低;(2)OC-SORT跟踪器没有充分利用目标表观特征,若目标发生非线性运动,容易造成尔曼滤波器误差累积,导致运动特征失效,使得后续目标身份匹配失误;(3)当目标外观相近时,数据关联匹配易导致多目标ID身份跳变。论文以提升密集场景下OC-SORT多目标跟踪的准确性和鲁棒性为目标开展研究,主要工作如下: (1)密集场景Air-YOLO目标检测方法研究 针对原OC-SORT算法的YOLOX检测器特征融合方式容易造成冗余信息且检测准确性低的问题,提出了适应密集场景的Air-YOLO多目标检测器来替代原YOLOX检测器。该模型在特征融合阶段引入信息聚合机制,充分利用上下文信息以提高目标检测与定位精度;同时,设计了高效的跨空间学习解耦头,通过增强检测目标的空间特征提升检测头的性能;此外,采用Soft-NMS算法去除冗余检测框,进一步提升检测器的整体精度。实验表明,Air-YOLO在密集场景下的检测精度显著优于原检测器,尤其在遮挡频发的场景中,能够保持较高的检测准确性与稳健性,为后续跟踪算法提供了可靠的基础。 (2)密集场景自适应重识别特征融合OC-SORT多目标跟踪方法研究 针对OC-SORT算法在密集场景下因目标遮挡和非线性运动容易造成运动特征失效问题。本文引入重识别特征作为外观特征度量,提出了一种运动增强注意力机制,并引入以Res Net50网络为骨干网络的重识别模型。在此基础上,设计了特征自适应融合策略,根据目标遮挡状态调整特征融合权重,最后结合卡尔曼滤波预测结果,利用外观特征对目标区域进行验证与调整。该方法通过动态选择目标匹配方式,显著增强了算法在遮挡场景下的自适应能力。实验结果表明,在目标遮挡交互场景下,自适应重识别特征融合OC-SORT算法的准确性与鲁棒性均有显著提升。 (3)密集场景双线索分级数据关联自适应重识别特征融合OC-SORT多目标跟踪方法研究 针对OC-SORT算法在密集拥挤场景下,容易发生目标ID切换问题,本文摒弃了原算法的单一相似度计算方式,提出了一种融合Io U与重识别特征的Re ID-Io U相似度计算方法,根据目标遮挡状态动态选择相似度计算方式。在数据关联阶段,采用双线索分级匹配策略,尽可能保留更多检测框,并根据遮挡程度进行分级匹配,以提高目标在不同遮挡场景下的跟踪准确性与鲁棒性。同时引入相机运动补偿机制改进卡尔曼滤波,增强其在非线性运动场景下的目标预测能力。实验表明,采用双线索分级数据关联与扩展卡尔曼滤波的多目标跟踪方法在密集场景下表现突出,显著提升了目标跟踪的准确性与鲁棒性。

关键词： 近地空间目标   目标检测   无迹卡尔曼滤波   目标跟踪   仅角度定轨  

摘要： 随着近地空间目标数量呈指数级增长,空间态势感知领域中碰撞预警和轨道管理面临的挑战日趋严峻。近地空间目标监测作为空间态势感知的重要领域之一,其对于太空环节安全的重要性日益凸显。本文研究内容重点讨论空间目标监测技术,通过改进目标检测、运动跟踪与初始轨道确定三大核心算法,构建较为完善的近地空间目标监测过程,进而提升复杂近地空间环境下的态势感知能力。 针对近地空间目标的亮度小和图像低信噪比特征,本文提出了一种基于跨尺度特征融合的近地空间目标检测方法。研究通过引入轻量级跨尺度特征融合模块,使得算法的处理速度和运算效率有所提升。采用内容感知特征重组模块来替代上采样,以增强暗弱小目标的特征提取能力,最终实现对近地空间目标的精准检测。本研究以地基光学望远镜获取的真实空间图像为数据进行实验,实验结果表明,改进后的算法对近地空间目标检测的精度为93.7%,相较于基准算法和其他同类型检测算法,在检测精度和运算效率上具有明显优势。 针对近地空间目标运动快且观测背景复杂问题,本文应用一种基于无迹卡尔曼滤波的近地空间目标跟踪方法。本研究的模型构建过程中,考虑了空间目标运动的系统噪声。在快速运动和复杂背景下,无迹卡尔曼滤波能够在兼顾较高计算效率和跟踪精度的状态估计。实验结果表明,该算法处理每帧图像的时间为0.00897秒,在近地空间目标跟踪时的精度达到94.6%,该算法在跟踪准确率和计算效率上,与卡尔曼滤波算法和其他方法相比具有明显优势。 针对地基光学观测仅基于角度数据条件下的初始轨道确定问题,本文提出了一种基于贝叶斯理论的自适应扩展卡尔曼滤波器(BAEKF)用于近地空间目标仅角度轨道确定。该方法利用角度观测数据来计算目标的位置和速度信息,使用BAEKF进行轨道预测与修正。引入贝叶斯估计以动态修正测量噪声协方差矩阵,有效提高了滤波器对噪声与不确定性的鲁棒性。本研究通过短弧轨道观测数据进行实验,结果表明,所提出的方法在处理近地空间目标轨道这一高非线性系统时表现出较好的效果。

关键词： 遥感图像   目标检测   小目标   无人机图像   多尺度目标   Transformer   多光谱图像  

摘要： 遥感图像是通过传感器远距离捕获目标的电磁辐射经处理后形成的图像数据,不仅记录了地形、水体、植被等自然要素的空间分布与特征,还包含了人造目标及活动痕迹的关键信息,为多个学科领域的研究与应用提供了宝贵的数据支持。近年来,由于深度学习的迅猛发展,目标检测任务取得了显著的技术革新。基于深度学习的目标检测算法能够快速、准确地定位与识别图像中的感兴趣目标,为遥感图像中的关键信息提取提供了自动化和智能化的解决方案,在环境监测、农业生产、灾难营救、交通管控、智慧城市、国防安全等领域具有重要的研究意义和应用价值。 基于深度学习的遥感图像目标检测算法在多种场景和任务中展现了卓越的准确性和稳定性,但在特定复杂场景的应用中仍面临严峻挑战:遥感图像中的小目标特征信息稀少,易受背景和噪声干扰,分布密集,标注成本高;由于飞行高度、飞行速度以及拍摄角度的多样性,无人机图像中的目标呈现出尺度差异明显、空间分布不均匀和背景复杂多变的特点,同时存在遮挡和重叠问题以及运动模糊效应;在全天候遥感场景中,可见光图像在低光照环境中严重缺乏目标的视觉特征,导致检测精度受限,而红外图像因缺少细节信息,使得模型难以准确判断目标的类别。为了解决上述问题,本文以多场景遥感图像目标检测关键技术为研究主题,聚焦于探索遥感图像小目标检测、无人机图像多尺度目标检测以及全天候遥感场景多光谱图像目标检测,致力于推动遥感图像目标检测领域的理论创新与实际应用。本文的主要贡献如下: 1.针对遥感图像小目标检测的难点,提出了一种基于传统注意力机制的遥感图像小目标检测算法。通过整合通道注意力机制和卷积瓶颈模块,设计了新颖的颈部注意力模块NAB。该模块不仅能够动态增强特征和抑制噪声,而且摒弃了传统注意力作用于原始特征图的惯例,提升了注意力机制的灵活性和特征表示能力。在YOLOv3的基础上,通过引入NAB,并探索多种边界框损失函数对模型性能的影响,构建了遥感图像小目标检测模型YOLOv3-NAB。为了解决小目标检测数据集匮乏的问题,制作了一个高分辨率航空车辆小目标数据集VHRAI。在VHRAI数据集上,YOLOv3-NAB取得了89.3 m AP@50和36.7APs,较基准模型分别提升了3.4和5.6,同时有效降低了计算开销。在TGRS-HRRSD数据集上,YOLOv3-NAB展现了出色的检测性能和泛化能力。此外,针对实时检测任务,构建了轻量化目标检测模型YOLOv4-Tiny-NAB。在VHRAI和TGRS-HRRSD数据集上,该模型在保持高效计算特性的同时,显著提升了检测性能。 2.针对无人机场景中目标的特点,提出了一种基于自注意力机制的无人机图像多尺度目标检测算法。通过改进Transformer以适应图像的空间特性,设计了Convformer模块,并与卷积瓶颈模块相结合,构建了全局-局部信息融合模块GLIFM。该模块在建模远距离依赖关系的同时,保留了对局部特征的关注。在路径聚合网络的信息流动过程中,通过引入微小尺度特征图,为小尺度分支提供丰富的细节信息。在快速空间金字塔池化模块中,通过设计通道信息增强分支,进一步增强了模型的多尺度特征表示能力。基于上述创新方法,构建了无人机图像多尺度目标检测模型YOLO-UAV。通过在Vis Drone数据集上进行消融实验,验证了Convformer的有效性以及Transformer在处理图像任务的局限性。在与众多模型的对比中,YOLO-UAV仅用5.2M的参数量,取得了47.4 m AP@50和29.3m AP@50-95的优异表现。 3.针对全天候遥感场景中的挑战,提出了一种基于交叉注意力机制的多光谱图像目标检测算法。为了实现多光谱特征的充分融合与交互,设计了高效交叉注意力融合模块ECAFM。该模块采用了一种创新性的交叉注意力机制,通过建模不同光谱特征图对于融合特征图的远距离依赖关系,同时实现了同一光谱内的特征挖掘和不同光谱间的信息交互。在ECAFM中,还提出了局部信息增强的特征缩放方法,在显著降低计算复杂度的同时,缓解了降采样-上采样过程造成的信息损失,进一步增强了模型的特征表示能力。此外,为了扩大小尺度融合特征图的感受野以及提供丰富的语义信息,提出了小尺度信息增强模块SSIEM。该模块通过整合所有尺度的特征图并计算自注意力机制的方式,有效增强了小尺度融合特征图的特征表示能力。基于ECAFM和SSIEM,构建了轻量化多光谱图像目标检测模型YOLO-FT。在Drone Vehicle数据集上,YOLO-FT取得了83.3m AP@50和63.4 m AP@50-95,较YOLOv8s-Add分别提升了1.0和0.8,并且参数量减少了大约1/3。在LLVIP数据集上,YOLO-FT的各项指标超越了众多经典的多光谱图像目标检测模型,展现出卓越的检测性能和泛化