关键词： 目标检测   基于检测的目标跟踪   YOLOv5   DeepSORT   UWB定位  

摘要： 随着自动化和智能化技术的快速发展,低速自动跟随设备已成为智能交通、智慧零售和无人化服务等领域的重要研究方向。特别是在超市、机场等场所,低速自动跟随设备能够提升用户体验,简化操作流程。低速跟随设备实现精准智能跟随的关键在于对目标的精准识别和稳定跟踪。然而,传统的目标检测与跟踪方法在目标被遮挡时容易发生漏检和ID切换现象,严重影响实际应用效果。针对上述问题,本文提出了一种融合多模态信息的目标检测与跟踪方法,以提升目标检测的准确性和跟踪的稳定性,为后续低速跟随目标提供可靠的技术支持。本文主要研究内容如下: (1)在目标检测阶段,针对YOLOv5算法对部分遮挡目标检测效果较差的问题,本文提出了一种融合超宽带(Ultra Wide Band,UWB)定位信息的YOLOv5目标检测算法。首先,利用UWB技术通过双边双向测距获取目标相对于基站的测距值,并利用三边定位法计算出目标相对于基站原点的坐标;随后,通过透视变换将获得的UWB定位坐标映射到图像像素坐标系中,在YOLOv5算法完成推理生成所有候选框后,基于像素坐标和测距值构建候选框优化区(Candidate Box Optimization Region,CBOR),对区域内的候选框进行置信度增强。这种方法通过UWB提供的信息,有效降低了非极大抑制(Non-Maximum Suppression,NMS)过程中剔除被部分遮挡目标的候选框的概率。 (2)在目标跟踪阶段,为解决DeepSORT算法在遮挡恢复后出现的ID切换问题,本文提出了一种融合步态特征的DeepSORT目标跟踪算法。首先通过DeepSORT自带的外观特征提取网络提取检测结果的外观特征。然后基于YOLOv5检测结果,利用定长滑动窗口缓存目标图像序列,采用图像处理技术提取目标轮廓,并输入Gait Part模型获取目标的步态特征。进一步,将步态特征与外观特征进行加权融合,形成更稳定、丰富的特征用于目标匹配。同时,本文将DeepSORT算法中原有的交并比(Intersection over Union,Io U)匹配策略优化为考虑目标中心距离的DIo U(Distance-Io U)匹配,进一步提高额目标跟踪的准确性。 (3)为验证所提方法的有效性,分别在自制数据集上进行目标检测和跟踪实验。实验结果表明,融合UWB定位信息的YOLOv5检测算法相比于原算法,平均精度提高了2.6%,且能够检测出被部分遮挡的目标;融合步态特征的DeepSORT算法较原算法,MOTA(Multiple Object Tracking Accuracy)指标提高了3.1%,IDF1(Identity F1 Score)指标提高了4.3%,能有效减少目标遮挡恢复的场景下的ID切换。

关键词： LED芯片   深度学习   目标检测   自建数据集   YOLOv8n   检测设备  

摘要： 随着全球科技的迅猛发展,LED因其低功耗、长寿命和高光效等优点,越来越多地取代传统照明技术,广泛应用在照明、显示和通信等领域。然而,在LED芯片的制造过程中,表面缺陷会显著降低产品的性能和可靠性。为了应对这一挑战,实现准确检测与分类LED芯片的表面缺陷成为提高产品质量和生产效率的关键环节。传统的检测方法主要依赖于人工目视检查和基于规则的机器视觉算法,这些方法在检测大目标缺陷时虽然有效,但对微小和复杂的缺陷却收效甚微。此外,人工检测不仅效率低、成本高,而且容易因操作者疲劳或经验不足而导致误判。因此迫切需要更加智能和高效的方法来进行缺陷检测。 近年来,深度学习能够自动从大量数据中学习特征,并进行精确的分类和目标检测的功能,正因如此深度学习也为LED芯片表面缺陷检测提供了新的可能。 首先本研究与LED芯片半导体供应商紧密合作,自主构建了一个丰富且全面的数据集。该数据集涵盖了多种典型的表面缺陷类型,包括污染、划痕、墨点等。这些缺陷不仅会在不同的生产阶段可能出现,而且会显著影响LED芯片的性能和可靠性。通过对样本图片进行一系列筛选、增强后形成三千多张样本图片,然后使用CVAT标注工具进行细致的标注和分类。该自建数据集为后续算法的训练与优化提供了坚实的基础,确保了模型能够更精准地识别和区分各种缺陷类型,此外还增强了后续检测设备的实用性和可靠性。 接着提出一种改进YOLOv8n的LED芯片表面缺陷的检测算法,称为YOLOv8n-TDDS(YOLOv8n-Target Detection of Defects on Chip Surfaces),该算法通过引入视觉多尺度融合模块(C2f-Visual Multi-scale Fusion Module,C2f-VMFM)替换原始的C2f模块、将原本的金字塔池化层改进成空间感受野金字塔池化层(Spatial Receptive Field Pyramid Pooling,SRFPP)以及加入分组通道洗牌模块(Grouped Channel Shuffle Module,GCSM),减少了模型体积的同时增强了对小目标缺陷的识别能力。实验结果表明,YOLOv8n-TDDS相较于YOLOv8n不仅在模型大小与之保持了一致,还在平均精度(m AP)上提高了7.4%。 最后本研究通过与相关的智能科技公司合作,共同开发了一套完整的自动化检测设备样机一台并配备上位机一套。该设备结合一款200万像素的高帧率工业相机(1080P@165.5fps)与具备重复定位精度高达±0.3μm,分辨率为0.05μm的高精度运动控制平台,上位机软件兼容深度学习框架并利用YOLOv8n-TDDS算法进行LED芯片的表面进行缺陷检测,大大减轻了人工负担,减少了主观性,提高了检测的准确性和一致性。

关键词： 无人机平台   高光谱图像   分类   分割   目标检测  

摘要： 随着无人机平台与高光谱观测技术的快速发展，无人机高光谱遥感在精准农业、生态环境监测及自然资源监管等领域展现出广阔应用前景，但其实际应用仍面临数据获取不稳定、图像畸变严重、光谱一致性差等技术挑战，亟需系统性的研究与方法优化。近年来，深度学习凭借特征自动提取与复杂场景建模的优势，逐步成为该领域智能解译的核心技术路径。为全面梳理相关研究进展与技术趋势，本文围绕无人机高光谱图像的成像设备、深度学习解译方法及典型应用方向进行了系统总结，重点探讨深度学习在分类、分割和目标检测等核心任务中的应用与演进，涵盖卷积神经网络、图神经网络、Transformer等代表性模型。研究表明，无人机高光谱数据受光照变化、姿态扰动和背景混杂等因素影响，导致数据处理复杂度高、不确定性大。当前方法在实际应用中仍面临模型场景适应性不足、算法实时性要求高、数据预处理成本大等瓶颈，未来需聚焦高效特征表达、轻量化模型架构和多场景鲁棒性优化等方向。通过对主流深度学习方法的系统梳理，本文总结了目标检测、分类和分割等关键任务中的代表性技术路径与解译策略，为无人机高光谱图像处理技术的持续优化与工程实用化拓展提供理论基础参考，同时借助对公开数据集的分析，也为研究者快速开展实验验证提供便利。

关键词： FPGA   焊缝检测   焊缝质量评价   YOLO v8-DEGS   图像处理  

摘要： 焊接是现代制造业的工艺之一,实现高质量、高可靠焊接需要焊缝的实时检测与质量评价。但是一方面目前的焊缝检测在硬件上主要采用激光视觉系统与CPU处理单元,虽然能够通过检测激光中心线条纹特征变化实现0.02mm的检测精度,但受CPU核心数与内存带宽的限制而导致焊缝检测滞后性大、丢帧率高,导致了激光中心线提取的准确度与处理速度之间的矛盾;另一方面现有的焊缝质量评价算法因为模型和数据处理的复杂性,存在着计算量大、实时性欠佳的问题。本文针对于上述两个难题提出了一种基于现场可编程阵列(FPGA)的焊缝实时处理与检测系统,并结合深度学习算法来实现焊缝的缺陷识别及质量评价,主要包括以下内容: 1)焊缝检测硬件架构设计:基于直射式激光三角测量原理,搭建焊缝检测系统。硬件架构采用Zynq 7020异构平台,利用PL(可编程逻辑)端并行处理功能和PS(处理系统)端控制能力,借助AXI总线协议构建高效图像采集、处理与传输系统。图像采集单元采用双CMOS相机,其中一路与850 nm线激光发射器及窄带滤光片构成结构光传感器,实现焊缝表面形貌的实时扫描,确保了焊缝图像数据的高效获取。 2)焊缝图像处理:本文提出了一套完整的焊缝图像处理流程,以提高焊缝特征信息的提取精度。该流程包括灰度化处理、改进自适应中值滤波、OTSU自适应阈值分割、形态学闭运算、Zhang-Suen细化算法及加权灰度重心法。针对焊缝图像中椒盐噪声较大的问题,提出动态窗口自适应中值滤波算法,在有效去噪声的同时保持边缘信息,确保焊缝特征的完整性与识别精度。此外,为优化光条中心线提取精度,引入Zhang-Suen细化的加权灰度重心法,克服传统灰度重心法的光条中心提取不准确与实时性差的弊端,并通过流水线处理优化代码执行流程,提高系统资源利用率与实时性。 3)焊缝缺陷识别及质量评价:本文采用CMOS相机采集焊缝原始图像,并上传至上位机,结合YOLO v8-DEGS深度学习模型,实现对裂纹、气孔、未熔合等10类常见焊缝缺陷与正常焊缝的智能识别。基于尺寸阈值、数量阈值及权重结合的方式,构建了一套量化的焊缝质量评价模型,提高了评价结果的科学性、客观性和可解释性。实验表明,该模型在检测精度及推理速度方面均优于现有同类方法。 4)实验环境搭建与结果分析:本文搭建了焊缝实时检测与质量评价系统,并通过实验验证了算法的有效性。在自适应中值滤波实验中,所提出的方法在不同密度椒盐噪声图像上的降噪效果优于现有滤波算法。在实际焊接焊缝的检测实验中,所提出的图像处理方法表现出良好的鲁棒性和准确性,并进一步完成焊缝缺陷实时检测及质量评价分析实验,验证了所构建检测与评价体系的合理性与可行性。

关键词： 深度学习   目标检测   CA注意力机制   Wasserstein距离   Focaler-EIoU  

摘要： 在近年的时光里,遥感技术经历了迅猛的发展,遥感图像在国防、军事行动中都占据了不可或缺的地位。但是,面对遥感图像数量的急剧增长,传统的手读方式或手动设计的图像特征提取方式已经不能满足不断增长和多元化的需求了。在深度学习技术领域中,目标检测已经取得了显著的研究突破。然而遥感图像目标的排列更为集中,背景的复杂性也相对较高导致检测精度下降。为解决上述问题,本研究设计了一种优化的目标检测算法,并构建实验系统界面,做出多组实验进行充分实验验证。本文的主要研究工作内容如下: (1)构建遥感图像目标数据集并采用了Labelimg方法进行数据标注;针对数据集中目标实例数量的明显差异,对数据集进行数据增强以扩充实验样本;针对遥感图像在雾天这种恶劣环境下的图像进行处理。 (2)针对YOLOv8模型在检测遥感图像目标中存在的由于目标较小以及目标间距离近造成的检测精度下降的难点,采用Focaler-EIoU取代CIoU作为边界框损失函数,使边界框回归效果得到进一步提升;将归一化Wasserstein距离引入损失函数以增强小目标检测准确性;利用高分辨率视觉模型Efficient Vi T改进主干网络结构,并且融合深度可分离卷积模块既保持了模型轻量化,又提供了良好的模型感知能力;在颈部网络中引入CA注意力机制并加入Slim-Neck新型头部构架以及Ghost模块,提升了对目标特征的提取能力。 (3)设计并搭建了遥感图像目标检测实验系统,并利用NCNN深度学习框架,成功地部署在了移动设备中以进一步证明算法的实用性。 实验结果表明,本文提出的改进的YOLOv8模型相比原YOLOv8模型,mAP提升了2.4%,相较于其他主流的目标检测算法,这一改进后的模型在检测遥感图像目标方面表现出更高的准确性。

关键词： 目标检测   无人机视角   特征融合   损失函数   模型轻量化  

摘要： 近年来随着无人机技术的快速发展,无人机在军事、民用以及商业等领域的应用越来越广泛。其中,无人机视角下的多目标检测是无人机应用中的重要研究方向之一。计算机视觉技术与无人机技术的有机结合,使得无人机视角下多目标检测具有广阔的应用空间和发展前景。但是目前主流的检测算法无法克服航拍图像中出现的目标高度变化、尺度不一、目标多且小等问题,从而导致检测困难,且多数算法模型较大、检测速度慢,效率过低。针对上述问题,本文开展了基于YOLOv8网络模型的无人机视角下多目标检测的研究。 针对无人机视角下图像场景大、目标多且小与目标遮挡等问题,本文提出了改进YOLOv8多目标检测方法的变融注意力检测器-YOLO(BDAD-YOLO)。首先,引入BiFormer的思想改造骨干网络结构,进一步提高模型对关键信息的关注,保留目标细粒度细节信息。其次,基于可变形卷积和C2f模块设计了一种新模块,增强对于小目标的特征提取并且使小目标层部分对特征信息的融合能力进一步提升。然后,提出一种新的动态注意力尺度序列特征融合结构,使用轻量化动态点采样并通过融合不同尺度的特征图来增强网络提取多尺度信息的能力。最后采用WIoU损失函数,改善小目标低质量数据对梯度的不利影响,以加快网络收敛速度。实验结果表明,BDAD-YOLO改进算法相比于YOLOv8n在Vis Drone2019数据集的val集和test集,平均精度均值m AP50分别提升了4.6%和3.7%,同时在DOTA数据集上也提升了2.4%。进一步说明改进算法BDAD-YOLO的普适性,在无人机视角下的目标检测任务中可以达到较好的效果。 针对BDAD-YOLO算法参数量、计算复杂度和权重文件较大导致难以进行部署的问题,提出了一种轻量化算法BDADLight-YOLO。采用小波卷积进行轻量化,并改进C2f模块。然后提出一种高效轻量化检测头,大幅减少参数量。同时,通过在检测头中引入部分卷积,只对一部分连续通道做卷积,减少多余的参数和计算成本。此轻量化模型的改进可以更好地平衡检测精度与检测速度,降低了BDAD-YOLO模型的参数量和计算复杂度。在参数、复杂度和权重大小上,与YOLOv8n对比分别下降了38.5%、18.5%和32.8%,与BDAD-YOLO算法对比分别下降42.6%、38.9%和37.9%。最后,将BDADLight-YOLO网络模型部署在基于PyQt5设计的检测与识别系统中,实现对无人机视角下多目标的检测与识别,达到了较好的检测与识别效果。

关键词： 特征对齐融合   条状注意力模块   轮廓增强模块   分割一切模型   领域特定提示模块   渐进自提示解码器模块  

摘要： 显著性目标检测旨在模拟人类视觉系统处理图像,预测图像中人类感兴趣的区域,从而获取场景中的关键信息。作为一项重要的预处理技术,显著性目标检测被广泛应用于计算机视觉的核心任务中,如目标识别与跟踪、医学图像处理、图像压缩以及基于内容感知的图像编辑等,有力地推动了各领域的发展。 本文基于显著性目标检测这一课题展开了相关关键技术研究。首先,针对常规显著性目标检测方法存在的问题进行了分析,从特征对齐融合、轻量化模块设计等角度出发,设计了相关方法。为提升课题的实际应用价值,在光学遥感图像领域进行了扩展实验。鉴于自然图像与光学遥感图像之间的差异,常规显著性目标检测方法难以在光学遥感图像中达到预期性能。因此,本文进一步针对光学遥感图像显著性目标检测方法展开深入研究,对现有方法受骨干网络泛化能力影响的问题进行了改善。本文主要研究内容及创新总结如下: (1)针对现有深度学习方法中直接上采样特征并与上一尺度特征融合所导致的语义失调问题,本文提出了一种新颖的对齐融合网络。该网络通过逐步对齐毗连层的特征,实现多尺度语义信息的有效融合。为了更好的缓解失调问题,本文提出了流对齐和可变形对齐两种模块。流对齐模块通过学习特征之间的语义流实现对低尺度的高层特征的空间变换,从而与上一个尺度的低层特征进行融合。然而,这种方式只能学习一个空间位置的一种补偿,对于复杂的失调问题往往是不够的。为此,本文进一步提出了可变形对齐模块,采用可变形卷积替代流对齐模块中的空间变换,提升补偿的多样性。实验结果证明,所提方法能够有效地改善语义失调问题,显著地提升了模型的性能。相较于未对齐的网络,所提出的可变形对齐融合网络在五个标准数据集上平均绝对误差分别实现了20.93%、22.86%、11.43%、17.78%以及11.11%的性能提升。与现有方法的比较进一步证明了方法的有效性。 (2)为了高效地帮助网络获取全局及局部信息,本文提出了轻量化全局上下文建模与局部细节学习的显著性目标检测方法。该方法利用非局部自注意力机制捕捉特征中的全局信息。为提升计算效率并优化网络结构,本文采用条状注意力替代原始非局部自注意力,并结合任务特点,将其嵌入特征融合的中间过程,以实现高层融合特征全局上下文信息的扩增。此外,本文提出了一种简单而有效的轮廓增强模块,以提升特征在关键空间细节上的表达能力,同时学习网络训练阶段需要的注意力图。基于该注意力图,本文进一步提出了一种注意力加权损失函数,使网络在训练阶段更关注于模棱两可及困难的区域,从而增强模型在局部细节上的学习能力。本文方法在仅增加1.4%参数量的情况下,有效实现了网络性能的提升。对比实验表明,本文提出的方法在五个标准数据集上的性能超越了17种先进方法,同时保持了相对较小的参数量和计算复杂度。 (3)针对现有光学遥感图像显著性目标检测方法性能受到骨干网络泛化能力影响的问题,本文将分割一切模型引入光学遥感图像显著性检测领域,提出了一种新颖的渐进自提示分割一切模型。该模型以自学习的方式在骨干网络内部和外部同时产生提示信息,有效地增强了骨干网络在光学遥感图像领域的适应性。在骨干网络内部,本文设计了领域特定提示模块通过块共享和块特定适配器自适应地学习视觉提示,帮助骨干网络补充领域特定的知识。在骨干网络外部,本文提出的渐进自提示解码器模块可以逐步生成分阶段的掩码提示以引导多层特征的融合,以由粗到细地方式产生最终的显著图。此外,本文采用参数高效微调技术进行训练,使整个网络的训练参数仅为773.22K。消融实验证明,相较于基准网络,本文所提方法在三个光学遥感图像数据集上平均绝对误差分别实现了39.60%、36.99%以及28.81%的性能提升。与主流的32种先进方法的对比结果显示,本文方法在总计18项评价指标中,取得了17项最优表现和1项次优表现,达到了目前最先进的水平。