关键词： 目标检测   迷彩伪装   注意力机制   知识蒸馏   模型压缩  

摘要： 随着计算机视觉技术的高速发展,目标检测技术已被广泛应用于实际生产与生活的各个方面。然而在军事等特殊应用场景中,迷彩伪装目标检测仍面临严峻挑战。在军事场景中,由于迷彩伪装目标与背景环境高度融合,其轮廓边界模糊不清,色彩纹理相似度极高,导致误检和漏检问题频发。因此,构建高效精准的迷彩伪装目标检测网络具有重要的研究价值和现实意义。本文的主要研究内容如下: (1)构建并制作了迷彩伪装目标数据集。本次数据集在制作时,充分参考了野外战场环境的真实状况,数据集共包含6540张高分辨率图像,其中涵盖了迷彩伪装士兵与迷彩伪装坦克两个类别。原始素材是由互联网上采集的处于野外复杂环境下的迷彩伪装视频和模拟现场拍摄的视频两部分组成。在制作环节采用关键帧提取的技术,从其中挑选并筛出含有迷彩伪装士兵和迷彩伪装坦克的高清图像,最后通过数据清洗与数据标注流程完成了数据集的构建。基于此构建的数据集不仅应用场景广泛、覆盖范围全面,还确保了数据的高精度与可靠性。该数据集为后续改进算法的有效性验证提供了可靠支撑。 (2)研究了迷彩伪装目标检测算法。针对迷彩伪装目标与背景高度相似,且在复杂背景下重叠遮挡,导致错检、漏检率升高的问题,本文提出了一种基于YOLO的迷彩伪装目标检测算法:MFC-YOLO。该算法采用MobileViT作为主干网络,在提升特征提取能力的同时减少模型参数量和计算复杂度;引入Focal Modulation模块对复杂背景下目标的特征进行增强;引入CPMS注意力机制模块,进一步聚合局部和全局特征,并结合160×160尺度的检测头,加强对遮挡小目标的检测能力。实验结果表明,MFC-YOLO针对迷彩伪装目标的检测精度显著提升。 (3)研究了基于知识蒸馏的迷彩伪装目标轻量检测算法。根据实际部署应用的需求,MFC-YOLO网络存在参数量大、检测速度慢以及学生模型准确率低等问题。本文提出了OSPA-KD蒸馏方法,该方法结合全局蒸馏和局部蒸馏,同时在全局蒸馏中融入多阶段融合模块。全局信息和局部信息相结合使得学生模型更易具有更丰富的语义信息,多阶段融合模块提高学生模型的学习效率,从而拥有更高的准确率。实验结果表明,全局蒸馏结合局部蒸馏的方法,在精度保持稳定的前提下,实现了模型参数量与计算量的大幅降低。 (4)设计并搭建了迷彩伪装目标检测系统。系统以PyQt5作为其图形界面的开发支撑工具,用户将待检测迷彩伪装图像上传至系统进行检测时,用户可以清晰地看到伪装目标的位置和类别信息。经严格的测试环节后发现,该系统具备对输入的迷彩伪装目标图像或者视频执行快速且精准检测的能力,为其后续的推广与应用奠定了坚实的实践基础。

关键词： 目标检测网络   语义分割网络   特征提取  

摘要： 阐述一种基于计算机视觉的裂纹识别与几何特征提取方法。该方法通过整合高分辨率图像采集与数据增强技术构建样本库,采用YOLOv5目标检测网络定位标定块以校准像素尺度并校正图像畸变,结合U-Net++语义分割网络实现裂纹的像素级分割。

关键词： 红外船舶检测   深度学习   目标检测   多尺度特征融合   轻量化  

摘要： 船舶检测是海洋监测领域的核心任务,其精准识别在军事海防、航运管理及海洋安全保障中具有重要战略价值。然而,红外成像机制下的船舶目标存在对比度低、热辐射特征模糊等问题,这些因素导致红外船舶检测的准确性和实时性仍存在着不足。为实现红外船舶高效检测,本文使用深度学习技术,研究船舶检测算法。主要研究内容如下: (1)针对红外海上船舶图像在不同场景下存在误检和漏检等问题,本文提出了一种基于改进YOLOv7的红外船舶检测算法。在Backbone网络中引入重新构造的REP-DSConv-ELAN模块,提升了模型主干网络对船舶特征提取的能力。在颈部网络中引入Inception Ne Xt模块,实现多尺度特征融合以提升不同大小目标检测精度。检测头采用MPDIo U损失函数,增强了模型小目标检测的准确性和鲁棒性。改进后的算法在Infi Rray Ships数据集上的精确率、召回率和平均精度均值较基线算法分别提高了4.0%、2.5%和3.4%,在ISDD数据集上的精确率、召回率和平均精度均值分别提高了2.9%、4.7%和2.5%。实验结果充分证明了改进算法的有效性。 (2)针对红外船舶检测算法参数量大和计算复杂度高的问题,本文提出了一种多尺度特征融合的轻量化红外船舶检测算法。在Backbone网络部分引入重参数化Mobile One网络,实现了模型的轻量化处理。然后在Neck网络中重新构造BCBS模块,提高了模型对船舶目标关键信息的获取效率。接着,设计一种BiFPN-T特征金字塔网络,加强了模型对不同尺度船舶特征的融合能力。最后,设计了一种改进的N-CIo U损失函数,提升了模型对小目标的检测能力。在Infi Rray Ships数据集上的实验结果表明,改进算法的平均精度均值较基线算法提升了1.6%,参数量和浮点运算数分别减少了约27.2%和44.8%,检测速度提高了30f/s。所提改进算法满足了轻量化和检测精度的要求。 (3)为推进本文算法在红外船舶检测领域的应用,本文设计了一款红外船舶检测系统。该检测系统采用Py Qt5搭建图形用户界面实现人机交互,用户可以自行选择合适的权重文件对红外船舶进行检测。测试结果表明,该检测系统对输入的红外船舶图像或者视频能够实现快速准确的检测,同时能够实时显示检测结果。

关键词： 火灾检测   RT-DETR   YOLOv11   轻量化网络   知识蒸馏  

摘要： 随着经济发展和城市化进程加快,我国火灾隐患日益复杂,事故频发,严重威胁人民生命财产安全。现有火灾目标检测算法在复杂环境中面临诸多挑战,难以兼顾高精度与实时性要求。为此,本文结合不同场景需求,针对地面摄像头拍摄图像和无人机航拍图像的火灾目标检测开展系统性研究。研究旨在提高火灾检测的准确性和灵敏度,从而有效减少火灾造成的损失。本文的研究工作如下: (1)鉴于现有公共火灾数据集存在数量不足和质量参差的问题,本文筛选相关数据集,结合网络获取的火灾图像及视频关键帧图像,构建了两个专用数据集:面向地面摄像头监测场景的GCFD数据集和面向无人机航拍场景的FRD数据集。本文提出的数据集可以有效评估算法在实际火灾检测应用场景中的性能表现。 (2)针对地面摄像头监测场景中存在的目标遮挡和类火干扰等问题,本文提出高精度的FDC-DETR检测算法。该算法基于RT-DETR框架进行多项改进:重构Fasternet＿Rep主干网络以降低计算复杂度;在AIFI模块引入可变形注意力机制增强火焰区域识别能力;改进CD-CCFM跨尺度特征融合模块提升多尺度特征表达能力,并采用WloUv3损失函数优化模型鲁棒性。实验结果表明,基于该算法训练的模型在GCFD数据集上达到89.3%的平均检测精度,较基准提高3.5%。 (3)针对无人机航拍场景中存在的目标尺寸小、背景复杂以及机载计算资源受限等问题,本文提出轻量化的LFD-YOLO实时检测算法。该算法基于YOLOv11框架进行多项改进:通过设计融合动态注意力机制的CStar Net轻量化主干网络优化特征提取;采用Dysample上采样算子和C3K2＿Ghost结构降低颈部网络计算复杂度;结合自研的GSDE检测头增强小目标特征捕捉能力,有效提升了算法在资源受限环境下的检测性能。在FRD数据集上的实验结果表明,基于该算法训练的模型,参数量和计算量分别压缩至4.4M和11.7G,较基准分别降低53.2%和45.1%,且保持了较高的检测精度。 (4)为提升模型实用性,本文采用知识蒸馏技术优化LFD-YOLO模型:通过自蒸馏获得LFD-YOLO＿KD模型以进一步提升模型检测精度,并通过跨模型蒸馏获得更轻量化的YOLOv11n＿KD模型以适应计算资源严重受限场景。在NVIDIA Jetson Orin NX边缘计算设备上的部署测试表明,量化加速优化后,两改进模型的推理速度分别达到了62FPS和83FPS,验证了模型在资源受限的边缘计算场景中具备良好的工程适用性。此外,本文基于FDC-DETR检测算法和ByteTrack多目标跟踪算法构建了火灾检测系统。该系统通过对多源数据的火焰目标进行精准识别与持续追踪,为灾害预警和应急决策提供了科学的数据支撑与技术保障。

关键词： 机器视觉技术   工业机器人   图像处理  

摘要： 阐述机器视觉技术的核心组成，分析工业机器人图像处理的关键方法，包括图像增强、特征提取和灰度变换等，探讨其在视觉引导、检测和测量等领域的应用，并展望机器视觉技术的发展趋势。

关键词： 双目视觉   深度学习   目标检测   轻量化   生猪体尺测量  

摘要： 在畜牧业中,牲畜的体尺与体重参数是评估生长性能和繁殖能力的重要指标,直接影响饲养方案调整、饲料配方优化及品种选育。传统养殖依赖人工测量,不仅效率低、误差大,还会引发猪只应激反应。随着计算机技术的进步,机器视觉为非接触测量提供了新路。但是现有的问题如分割模型、点云处理、三维重建、关键点定位等存在显著弊端,如流程复杂、成本高昂、泛化性差,增加了模型调整与维护成本。在规模化养殖中,猪只数量多、环境复杂,这些方法难以快速适应,总体经济性与实用性受限。为此,本文以立体匹配算法和双目目标检测模型为基础提出了一种经济、高效的生猪体尺测量算法。具体研究内容如下: (1)改进了PSMNet的立体匹配网络。现有算法在生猪的深度估计中面对纹理缺失区域、遮挡边界以及光照变化等复杂场景下的视差估计精度仍有待提升,同时算法的时间复杂度和计算效率也面临着严峻挑战。基于改进PSMNet的立体匹配网络版本通过加入3D SE注意力块、使用转置卷积替代直接插值,优化了边缘细节和噪声处理,显著提升了匹配精度和鲁棒性。 (2)提出一种基于轻量级的YM-Net生猪目标检测算法。针对生猪的检测环境复杂多样,例如养殖场内光线变化大、背景杂乱以及遮挡问题(如其他生猪或饲养设备),同时考虑网络在实际部署中的实用性,提出了一种轻量级的目标检测算法YM-Net。该算法在保持高检测性能的同时,显著降低了计算复杂度和资源需求,从而在实用性和性能之间实现了良好的平衡。 (3)设计了一种基于深度估计和目标检测的生猪体尺测量方法。针对传统的人工方式测量以及基于现阶段基于深度学习的方式的复杂、部署应用环境、及泛化性的问题,提出一种端到端的、轻量化、应用场景广、性能优的生猪体尺测量方法。 最后通过深度估计和目标检测得到三维坐标后,给出了三种生猪体尺计算的方案:坐标投影、回归算法、比例缩放进行了实验,实验结论得出坐标投影最适合本文的生猪体尺的检测和测量,且体长、体宽和体高最好的均方根误差、平均绝对误差和平均相对误差为1.24cm、1cm和2.05%,完全满足资源受限的中小型养殖场对高效、精准、生猪体尺测量的需求。

关键词： 高光谱图像   目标跟踪   结构张量   多模态融合特征  

摘要： 目标跟踪是计算机视觉领域中的一个研究热点,同时它也具有非常重要的现实研究价值,被广泛应用在无人机航拍、智能人脸识别、虚拟现实游戏等领域中。近年来,随着深度学习技术在可见光视频跟踪算法快速迭代,极大地增强了可见光视频跟踪任务的实时性和精确度。不过,这些方法主要依赖于可见光图像进行目标跟踪,无法从根本上克服可见光图像对目标的物理特性表述不足。鉴于高光谱图像(Hyperspectral Images,HSIs)在对物体结构表达上相较于可见光图像有着更高维的光谱信息,对提高其在面对背景干扰、目标遮挡以及相似物体干扰等复杂场景下的跟踪稳定性和鲁棒性的研究,已经引起了广泛关注。但是HSIs的数据维度高、数据量大,无法从中提取出有效的光谱信息导致了光谱复合特征的表达能力不足。而光谱复合特征是指多种融合特征与光谱信息交互的混合表征方式。针对上述问题,本文从以下三种特征研究了基于复合特征与光谱信息交互的高光谱视频跟踪方法,主要分别从目标物体的空间结构特征、深度语义特征和跨模态特征作为复合特征,进一步探讨如何更有效地与光谱信息相结合去提升高光谱视频跟踪算法的性能。本文的主要研究内容如下: (1)针对现有的高光谱视频跟踪算法中目标受遮挡时跟踪窗口漂移以及对HSIs冗余的光谱信息利用率不足的问题,提出一种基于空间结构特征的高光谱视频目标跟踪算法。该算法通过结构张量计算目标与背景之间的空间结构差异,提取出包含光谱信息的空间结构特征,并同时进行降维。此外,为避免因干扰因素随时间的累加导致跟踪误差的迭代,对传统上下文滤波器进行改进,提出了一种将初始响应图模型作用于跟踪响应图,实时校正跟踪结果。实验结果表明,提出的算法在基准数据集上优于其他对比方法,成功率达到0.680,准确率达到0.899。 (2)针对现有的高光谱视频跟踪算法在应对背景杂波挑战下跟踪性能下降问题,提出一种基于深度语义特征的高光谱视频目标跟踪算法。该算法通过光谱差异匹配对复杂冗余的高光谱数据进行压缩降维,在降维后提取深度特征。为了提高跟踪器对光谱信息的感知能力,从光谱熵中提取光谱目标感知特征(Spectral Target Perception,STP)。将STP的实时背景熵变化与深度语义信息相结合,能有效降低背景杂波干扰。此外,提出了一种新的置信度判断准则来更新目标,解决了相似目标干扰带来的挑战。在基准数据集上的实验结果表明,与现有最先进的跟踪方法相比,提出的算法在对背景杂波挑战下成功率达到0.659,准确率达到0.955。 (3)针对现有的高光谱视频跟踪算法在应对尺度变化下跟踪精度不稳定的问题,提出一种基于跨模态特征的高光谱视频目标跟踪算法。为了解决上述问题并获得出色泛化能力,引入了一种多模态目标跟踪框架,该框架将深度信息和权值自适应混合融合编码器相结合。首先通过方差光谱匹配对HSIs进行降维,在这个框架中有两路处理方式,第一路将降维后的搜索图像和模板图像分别通过两个独立的路径进行深度融合,接着被送入Vision Transformer的编码器,同时另一路执行不包含深度融合步骤镜像操作。将深度融合得到的特征与空间规则特征一起输入到一个权重自适应混合融合编码器中,最后通过多层感知器对多模态融合特征进行跟踪。实验结果显示,所提出的算法在对尺度变化挑战下优于现有的最先进的方法,成功率达到0.659,准确率达到0.919。

关键词： 深度学习   目标检测   YOLO   行人检测   交通标志识别   特征融合  

摘要： 近年来深度学习技术的飞速提升,基于深度学习的目标检测算法被广泛应用于工业制造、农业生产、自动驾驶和医疗影像等领域,使得行人、车辆、交通标志等各类目标的检测准确度大大提升,促使无人驾驶技术迈向更高的发展阶段。小目标的检测是无人驾驶目标检测的一个难点,检测过程中小目标往往分布密集、像素占比少、同一目标尺度差异大、背景复杂干扰大等棘手情形,导致小目标检测精度较低。针对这些问题,为了提升小目标检测精度,本文基于YOLO深度学习算法框架,发展小目标检测算法并将其应用于无人驾驶技术目标检测过程。文章主要内容如下: (1)针对行人目标检测中存在的目标密集和互相遮挡的问题,保证原有检测精度前提下对YOLOv5s算法进行轻量化改进,节省了计算资源和存储空间。首先,在骨干网络中融入CBAM注意力机制聚焦行人的关键特征,提升检测精度。其次,引入Ghost卷积,通过少量卷积与线性变换生成特征图,降低模型复杂度。然后,替换C3模块为C3Ghost模块,进一步增强特征融合能力。最后,通过Wider Person数据集和PASCAL VOC 2007数据集验证改进算法的有效性和泛化能力。 (2)针对无人机航拍图像中小目标特征信息少、目标尺度差异大导致算法的小目标识别与定位精度不高的问题,对YOLOv8n检测算法进行改进用于无人机小目标检测。在骨干网络,采用ConvNeXt v2神经网络,增强复杂背景下小目标的定位能力和特征提取能力;在颈部网络,引入三重特征融合模块和尺度序列特征融合模块,提高对不同尺度目标的检测能力;在检测层,设计多尺度特征融合层,提高小目标细节信息的收集能力;此外,采用层自适应幅度剪枝算法平衡模型的计算复杂度与检测精度。最后,利用Vis Drone2019数据集对算法性能进行检测。实验结果表明,与主流模型相比,改进算法在参数量和检测精度均占有优势。 (3)针对交通标志检测在日益复杂的交通场景中所面临的误检和准确率降低等问题,基于YOLOv11n给出了一种改进的交通标志检测算法。首先,设计多层融合金字塔,促进不同层级特征之间的信息交互。其次,沿用多尺度特征融合层,为检测头提供更加丰富的细节信息。然后,引入SIoU损失函数,使模型学习到旋转不变性特征。最后,利用TT100K数据集对算法进行性能检测。实验结果表明,改进算法能有效完成交通标志小目标检测的任务。 本文分析了小目标检测的一些难点,并进行改进与优化,对今后利用YOLO框架解决小目标检测问题具有一定的借鉴意义。 图[23]表[9]参[95]

关键词： 图像处理   复杂背景   输电线识别   深度学习   异物检测  

摘要： 输电线是输电线路中的关键构成要素,是无人机巡检工作的主要目标。输电线路大多架设于野外,长期处于复杂背景下,同时光照条件多变,此外输电线上的异物呈现多样。输电线识别技术可以辅助无人机航线偏差的校正,使无人机将注意力聚焦于输电线区域,异物检测技术能将附着在输电线上的异物检测出来。无论是输电线识别技术还是异物检测技术的研究,均面临检测精度欠佳的问题。传统图像处理方法难以有效应对复杂背景和光照变化,容易产生误检与漏检;基于深度学习图像处理的方法,数据获取和标注困难,模型复杂,难以准确快速地识别输电线和检测异物。本文以输电线为研究对象,采用图像处理技术,对传统图像处理和深度学习算法进行改进,提高了输电线识别和异物检测精度。通过实验验证,本文提出的改进方案提高了输电线识别和异物检测的精度,降低了误检率与漏检率,对电力系统的智能化运维具有重要的意义。本文的主要研究内容如下。 (1)针对输电线在复杂背景下识别精度不高的问题,对传统的输电线识别方法进行改进。首先对Canny算法进行了改进:将高斯滤波改为中值滤波,Sobel模板改为Scharr模板,手动选取阈值的方式改为Otsu法获取阈值,使边缘检测的结果更加清晰可见,且无需手动节阈值。然后为了实现对被遮挡输电线的拟合,又提出了优化的最小二乘法,即先对输电线的长度特征和空间位置进行聚类分析,再使用最小二乘法拟合。实验结果表明本文提出的方法在复杂背景下能将输电线准确识别出来。 (2)针对基于深度学习图像处理方法在输电线识别中精确度欠佳的问题,提出了一种改进的Deeplabv3+方法。首先,用Mobilenetv2替换Xception主干网络,提升模型的速率;其次,对空洞空间金字塔池化(ASPP)模块进行了优化,增加卷积分支的数量,对空洞率进行调整,更好的获取多尺度特征;然后引入SENet注意力机制,强化模型对重点区域的聚焦能力;最后,使用Focal loss函数代替交叉熵损失函数,有效地处理了数据集类别失衡这一问题。实验结果表明改进后的算法对输电线识别的精确度更高。 (3)针对输电线异物检测精度不高的问题,对YOLOv8算法进行了改进。首先,引入SKAttention注意力机制,实验结果表明mAP值有所提升;为进一步增强特征提取能力,使用渐近特征金字塔网络(AFPN)特征融合模块代替双向特征融合模块,mAP值进一步提升。实验结果表明改进后的算法能够更精准地检测到输电线上附着的异物。

关键词： 多模态融合   气候感知   三维目标检测   激光雷达  

摘要： 随着自动驾驶、智能机器人等领域的快速发展,三维场景感知技术对高精度、鲁棒性强的3D目标检测需求日益迫切。近年来,深度学习与多传感器技术的进步使得基于图像和激光雷达点云的多模态数据融合成为可能:图像数据具备丰富的纹理语义信息,而点云数据则能提供精确的空间几何特征,二者的互补特性为突破单一模态检测瓶颈提供了新思路。 在自动驾驶环境感知系统中,复杂天气条件(浓雾、雨雪等)导致的传感器性能退化是制约系统可靠性的核心难题。本文提出一种面向恶劣天气的动态稀疏融合检测模型,通过多模态特征增强网络与气候感知融合模块的协同优化,实现点云-图像数据在不对称失真条件下的鲁棒融合。首先,构建基于几何特征增强与语义补偿的多模态预处理网络,抑制雾天激光雷达点云衰减和低光图像噪声;其次,设计气象自适应的动态门控机制,依据传感器熵动态调整融合权重,解决传统融合算法在极端天气下的模态冲突问题;实验基于Dense多模态数据集验证,该数据集覆盖雾、雪、雨等10,000公里真实驾驶场景,在能见度低于50米的极端条件下,目标检测平均精度(mAP)达到70.2%。研究表明,通过熵驱动的自适应融合策略可有效应对未见的传感器非对称失真。 为了支撑基于点云与图像融合的3D目标检测算法的研究验证工作,本文同步研发了一个目标检测算法的平台。该平台基于浏览器-服务器架构设计,前端使用Vue和WebGL技术构建了可视化界面,支持点云-图像同步加载、多视角渲染及传感器参数配置。用户可通过交互面板调整相机内外参矩阵,平台自动生成虚拟视点投影,直观呈现参数变化对多模态对齐的影响。后端采用Flask框架构建,处理完成后检测结果返回给前端,并通过三维包围盒的形式进行可视化展示。