关键词： 暗环境   目标检测   Retinex   注意力机制  

摘要： 暗环境目标检测作为计算机视觉领域的一个重要研究方向,专注于运用计算机视觉技术对光照不足图像或视频中的目标物体进行识别与定位。这一技术在夜间自动驾驶、安全监控、军事侦察及医疗影像分析等多个领域中有着重要作用。在暗光场景中,基于常规光照假设构建的传统目标检测模型因图像质量退化及特征表征能力受限,导致检测性能显著下降,因此需开发专门的处理方法来应对此类场景。 为提高暗光场景下目标检测器的检测性能,本文系统研究了暗环境目标检测任务的共性挑战和常用方法,从图像增强驱动和检测器架构优化两个角度分别进行研究设计。在图像增强方向,针对暗光图像因对比度衰减与色彩畸变导致的边缘模糊及细节丢失,从而给暗环境目标检测带来极大困难的问题,本文提出了基于Rentinex理论和混合式学习的图像增强目标检测方法。本方法根据Retinex理论设计了一个暗光图像增强网络(Retinex-Based Decomposition for Object Detection,RDO)用于分解反射分量和光照分量,并将反射分量视为增强图像用于后续的目标检测任务。RDO网络采用正常光解耦器和暗光解耦器的并行双解耦结构,分别处理正常光图像和暗光图像的分解任务。其中,RDO网络的训练采用自监督学习和监督学习的混合式学习方法。此外,为了减少图像分解过程中可能造成的信息损失,本方法还将光照分量通过指导模块辅助目标检测器中的特征提取过程。 在检测器优化方向,针对暗光图像由于整体亮度低导致目标边界难以区分和局部特征无法完整呈现,从而给目标检测器特征提取步骤造成困难的问题,本文在YOLOv3的架构基础上提出了基于自适应通道注意力和非局部注意力的目标检测方法,增强了其在暗环境下的目标检测性能。本方法包含自适应加权通道注意力(Adaptive Weighted Channel Attention,AWCA)模块和三分支非局部注意力检测头(Triple Branch Nonlocal Attention Head,T-NLA)模块。首先,AWAC模块可通过学习通道权重映射,抑制噪声通道并增强判别性特征,并且通过动态门控机制整合多尺度通道注意力。其次,T-NLA模块使用非局部注意力方法计算特征图中所有位置之间的相关性来增强特征表达能力,从而重建目标的空间上下文关系。而其中的三分支结构可以让每个分支能够专注不同的任务,使得各个目标优化更为有效。

关键词： 钢丝绳表面损伤检测   损伤预警   目标检测   GPBW-YOLO  

摘要： 矿用架空乘人装置在矿山智能化建设中发挥着重要作用,其安全运行状态是保障矿井工作人员生命安全的关键因素。钢丝绳作为该装置的核心承重部件,在高强度和长期服役的过程中,其表面易出现断丝、磨损和锈蚀损伤,严重可导致钢丝绳断裂,造成人员伤亡和巨大的经济损失,因此对钢丝绳表面损伤进行快速精准检测以及出现损伤及时进行预警能够降低安全事故发生概率。针对传统人工目视法检测效率低、可靠性差、煤矿未经检查定期更换钢丝绳易造成资源浪费以及现有目标检测算法存在检测精度低、实时性差等问题,本研究以深度学习目标检测算法为基础,开展矿用架空乘人装置钢丝绳表面损伤检测方法研究,通过损伤图像采集、数据集构建与预处理、检测模型与系统的设计,构建了较为完整的技术体系,旨在提升钢丝绳表面损伤检测的准确性与实时性,主要研究内容如下: （1）针对当前缺少公开钢丝绳表面损伤数据集问题,按照矿用架空乘人装置钢丝绳运行原理在实验室搭建了损伤图像采集实验台,同时对驱动电机、工业相机和工业光源等关键硬件进行简要介绍,通过图像采集系统获取钢丝绳表面断丝、磨损和锈蚀损伤图像,完成了数据集制作;为提高目标检测模型对钢丝绳表面损伤检测的性能,使用图像翻转、旋转和缩放3种方式进行了数据集扩充,随后研究了提高图像对比度的算法,对比了自适应直方图均衡化和基于Retinex算法的增强方法,通过主观分析和峰值信噪比进行对比,结果表明自适应直方图均衡化效果更优,在提高图像对比度时更好的保留了图像原本色彩。 （2）针对当前目标检测模型对钢丝绳表面损伤检测精度低、漏检情况较多的问题,基于YOLOv11n提出一种GPBW-YOLO模型。在YOLOv11n的Backbone部分引入Ghost Conv替换标准卷积,Ghost Conv通过去除冗余特征,提高特征提取效率,既降低了模型复杂度又提高了检测精度;将PPA注意力机制融入至C3K2模块中,PPA注意力机制通过损伤区域的先验机制和对损伤特征的位置感知,有效提高了模型的检测精度;在Neck部分使用Bi FPN替换PANet,Bi FPN在多尺度特征进行融合时,使用可学习权重和跨越式的融合方式,提高了不同尺度特征的融合效率,既提高了检测精度又降低了模型复杂度;引入WIo Uv3作为模型的边界框损失函数,其引入了一种动态梯度增益策略,该策略减少了高质量样本的竞争性同时又降低了低质量样本的有害梯度,在模型训练过程中重点关注普通样本带来的梯度效益,进而提高模型在训练过程中的整体性能。实验结果表明,GPBW-YOLO模型m AP@0.5达到92.0%,FPS达到119.0 f·s-1,相较YOLOv11n分别提高2.6%和8.4%;其参数量、浮点计算量和模型权重大小分别为1.9M、6.2G和4.2MB,相较YOLOv11n分别降低26.9%、1.6%和23.6%,满足对钢丝绳表面损伤检测的需求。 （3）通过对矿用架空乘人装置钢丝绳检测进行需求分析,基于GPBW-YOLO模型和Py Qt5框架设计了钢丝绳表面损伤检测系统,该系统实现了对钢丝绳表面断丝、磨损和锈蚀的准确识别,实现了损伤预警功能,同时可以将检测结果和预警信息进行保存,为煤矿钢丝绳事故分析提供了相关的数据支撑。

关键词： 交通场景   目标检测   异步数据融合   时序信息   在线更新  

摘要： 目标检测技术基于图像或点云等数据,可以识别道路上的车辆、行人等交通参与者以及道路标志和其他环境信息,为智能交通系统和自动驾驶车辆提供了关键的环境感知数据支持。近年来,相机和激光雷达等传感器的性能提升以及大规模真实交通场景的数据采集积累,推动了目标检测的发展和应用,辅助自动驾驶日渐成熟。 但是交通场景具有天气光照多变、车流及人流密集等复杂动态特性,完全自主的自动驾驶对目标检测的性能提出了更高的要求,仅使用单一传感器进行感知存在一定的局限性,基于图像和点云融合的目标检测方法成为研究热点。然而,现有融合方法在图像信息的有效提取及利用、真实交通场景异构数据表征和异步多模态数据融合、动态交通场景自适应等方面仍然存在明显不足。 本文以图像和点云融合为核心思想,系统性解决上述交通场景目标检测存在的问题。本文的主要贡献总结如下: 1.针对交通场景目标检测中图像信息未得到有效提取及利用导致的目标类别判断错误率高及小目标检测性能差的问题,本文提出一种平衡语义和空间信息的图像目标检测方法,为后续的图像和点云融合奠定基础。具体而言,在特征连通性方面,设计了一个基于中间特征图的多尺度特征选择模块,将自上向下和直接向上采样相结合,充分提取目标语义信息的同时保留清晰的空间信息。在特征强度方面,设计了一个密集的自学习多尺度融合网络,该网络可以自动学习特征图系数,并有效地测量融合过程中不同特征的重要性。基于目标检测基准数据集KITTI、VOC、COCO进行方法对比验证了模型的有效性,可有效提升小目标检测性能。 2.引入点云信息,本文提出了一种图像和点云双向引导交互的多模态三维目标检测方法,缓解了真实交通场景异构数据表征问题及异步多模态数据融合问题。为了克服异步多模态数据中的点云稀疏性问题,设计了一种基于视觉引导和点云密度引导的目标级点云稠密化方案。针对异步多模态数据融合问题,设计了一种点云引导的图像上下文信息交互模块来增强点云特征。同时设计了一种图像引导的点云关键点交互模块,减少对目标的错误和缺失检测。基于VANJEE数据集和KITTI数据集进行了广泛的对比实验和消融研究,充分证明了提出算法的有效性。 3.引入时序信息,本文提出了一种异步注意力机制驱动的时序多模态三维目标检测方法,缓解了真实交通场景异构数据表征问题及真实交通场景的异步多模态数据融合问题。基于图像和序列点云,设计了一种双向交互的异步时序注意力机制模型,通过提取具有时空相关性的全局和局部特征,可以处理时空异步多模态数据。此外,针对研究内容二点云密度引导存在的目标位置不精确问题,结合视觉引导和光流估计,获得目标的移动范围生成虚拟点云,进一步克服了异步多模态数据中的稀疏性问题。基于VANJEE数据集和V2X-Seq数据集验证了模型的有效性。 4.从在线更新的研究角度,本文提出了一种交互式在线更新的时序多模态三维目标检测方法以适应交通场景的高动态特性。为更加全面的感知环境并减少时序目标检测计算量,基于环视视角构建时序目标特征存储库,有效避免特征的重复提取并使空间信息得到充分的利用。设计交互式在线更新机制,根据类别一致性检验及位置一致性检验,构建语义和运动引导的时间建模模块,实现交互式时序多模态融合模型在线更新。基于nu Scenes数据集验证了模型有效性,通过长序列建模可提升小目标检测性能。

关键词： 自动驾驶   YOLO   目标检测   激光雷达   多传感器融合  

摘要： 随着自动驾驶技术的进步,智能车辆的环境感知系统在面对复杂多变的交通环境时面临挑战,尤其是在夜间或恶劣天气条件下。为了解决这些问题,本文提出了一种基于视觉与激光雷达信息融合的车辆目标检测方法,旨在提升自动驾驶系统在复杂环境中的检测精度和鲁棒性。本文的研究工作主要包括以下几个方面: (1)基于夜间环境下的车辆检测。针对光照条件复杂,车辆易被低亮度、模糊和遮挡等因素所困扰,提出一种基于YOLOv5的改进算法KSC-YOLOv5,从而解决夜间驾驶过程中对其他车辆检测效果不佳的问题。首先,在网络结构的Backbone层中引入SKAttention,通过生成具有不同卷积核大小的多个路径,对应神经元的不同感受野大小,解决模型中的信息重叠和冗余问题。其次,使用内容感知特征重组CARAFE替换模型原始上采样算子,利用底层内容信息来预测重组内核并重新组装预定义的附近区域特征,保证特征图放大后的质量。最后,引入SIOU以促进真实框和预测框的拟合,使得模型能够更准确地定位,提高模型训练速度和推理的准确性。实验结果表明,相比基础模型YOLOv5,改进后的模型KSC-YOLOv5的m AP值提高2%,达到91.2%,P值达到90.3%。 (2)基于雾天环境下的车辆检测。针对在雾天环境下难以捕捉车辆的特征,导致基于深度学习的目标检测网络,在雾天行人车辆检测中出现精度低、鲁棒性差等问题。提出一种基于雾天检测方法—CSM-YOLOv8检测网络。首先,将C2f模块的第一个卷积替换为SA-Net模块。使其能够同时处理不同尺度的特征图,并在特征图之间进行信息交换和整合,模型可以更好地利用多尺度的信息。其次,在网络结构的Backbone层中引入SEAttention注意力机制,SEAttention通过自适应地学习特征通道之间的相关性,可以增强模型对于重要特征的关注程度,捕捉雾天环境下车辆的特征,从而提高了模型的表征能力。最后,加入MHSA模块通过将注意力机制分解成多个头部,从而提高了计算效率。实验结果表明,相比基础模型YOLOv8,改进后的模型CSM-YOLOv5的平均精确度提高1.9%。 (3)基于多传感器的车辆检测。针对单一传感器的局限性,探讨了多传感器融合的关键技术。首先,利用张正友标定法对相机的内参矩阵和畸变系数进行求解,然后对激光雷达与相机进行联合标定,完成多传感器的标定。随后,利用联合标定得到的外参矩阵将三维点云投影到图像上,并设计融合算法完成基于三维点云与图像检测结果之间的融合。最后,根据融合结果判断该目标是否为目标对象。

关键词： 多目标跟踪   目标检测   图像分割   运动估计   身份重识别  

摘要： 多目标跟踪(MOT)是一项旨在检测和跟踪场景中所有物体的轨迹的计算机视觉任务,多用于安保、国防和天文领域。与直接应用在视频片段中的目标检测任务不同,多目标跟踪需要确保场景中的每个物体都具备唯一的标识符,且该标识符应尽可能在不断变化的视频流中正确对应并保持稳定。主流的多目标跟踪方法分为两种,一种是基于检测的跟踪,另一种则需要人为指定目标进行跟踪。目前,绝大多数的多目标跟踪工作都采用通过检测进行跟踪的方式,利用重识别技术通过外观特征或运动特征来关联对象;然而,在外观特征不可靠、几何特征被不规则运动混淆的情况下,传统的多目标跟踪方法可能会产生令人不满意的结果。如何解决针对非线性运动且外观难以辨识的目标进行有效追踪成为当前领域最主要的挑战之一。为此,本文主要进行了以下两个方面的研究: (1)提出了一种基于实例分割轮廓的交并比和三步级联匹配的MOT算法,用图像轮廓代替检测框参与Io U匹配步骤,用以得到更精确的身份匹配结果并减少身份跳变次数(IDSW),从而优化所提出多目标跟踪方法的精确度和稳定性;同时,在Byte Track的跟踪框架上加入了额外的三步级联匹配算法来实现对分割输入结果的充分利用,减少了算法对低置信度正确输入的错误抛弃,提高算法在低分辨率图像或复杂场景中的追踪精度。实验表明,相较基于检测框的传统Io U算法,所引入的图像分割轮廓参与匹配计算的做法可有效影响在特定情境下的多目标跟踪任务的身份匹配精度IDF1和综合表现指标HOTA,其分别在跨模型消融实验中于Dance Track数据集得到约2.8%和1.0%的提升;而在MOT20数据集中,所提出的改进在三步级联匹配下身份匹配精度IDF1和多目标跟踪精度MOTA得到约3.1%和1.8%的提升。 (2)设计了一种依赖交互式多模型(IMM)运动估计算法代替传统的单个卡尔曼滤波进行轨迹预测,通过混合多个自适应的卡尔曼滤波模型来得到更好的预测结果。该方法融合了多个分别估计目标不同运动矢量的卡尔曼滤波(匀速直线运动CV、匀加速直线运动CA和匀速曲线运动CT),并根据预测的置信度实时改变各滤波参与计算的权重,以此来达到相对精确地估计目标不规则运动的效果;实验结果表明,相较基于单个卡尔曼滤波的传统运动估计模型,所引入的IMM能在Dance Track和Soccer Net数据集中有效影响多目标跟踪任务的处理效率和性能,综合表现指标HOTA在两个数据集中分别得到约3.5%和1.0%的提升;同时,该项改进对多目标跟踪准确度MOTP的提升同样显著,在两个数据集中分别为6.7%和1.1%。

关键词： 计算机视觉   计量设备   状态监测   设备故障诊断  

摘要： 阐述基于计算机视觉技术，探讨深度学习的目标检测算法在电力计量设备状态监测中的应用，介绍图像获取处理和识别技术，分析故障诊断与预测的实现方法，为计量设备状态预测与维护提供参考。

关键词： 苹果   叶片病害   目标检测   YOLO v10   多尺度融合   注意力机制  

摘要： 苹果叶片病害的早期检测对于保障苹果产量和质量至关重要。然而，由于苹果叶片病害形态各异、病斑区域较小等特征，导致病害检测精度不高，难以满足现代农业精准防控的需求。针对这一问题，提出了一种基于改进YOLO v10n的苹果叶片病害检测方法。利用感受野注意力卷积(Receptive field attention convolution, RFAConv)替换主干网络中的标准Conv,以增强网络对病害叶片重要特征的捕捉能力。在Neck网络使用重参数化泛化特征金字塔网络(Reparameterized generalized feature pyramid network, RepGFPN)实现低层特征与高层语义信息的融合，以提高模型对苹果叶片上不同尺度病害的特征提取能力。构建空间金字塔快速池化注意力(Spatial pyramid pooling-fast＿attention, SPPF＿attention)模块，使得模型能更有效地聚焦于重要的注意力信息。设计空间通道优化检测头(Spatial and channel reconstruction convolution＿v10Detect, SC＿C＿v10Detect),提高模型对不同大小病斑的检测能力。结果表明，所提模型的精确率为86.3%,召回率为86.8%,mAP@0.5为90.8%,mAP@0.5:0.95为62.9%,与原始YOLO v10n模型相比，分别提高1.2、4.2、2.1、2.8个百分点。所提模型与Faster R-CNN、SSD、YOLO v8n、YOLO v9s、YOLO v10n、YOLO 11n模型相比，mAP@0.5分别提升25.9、12.2、2.8、1.6、2.1、1.4个百分点。本研究提出的改进方法显著提升了苹果叶片病害的检测精度，为果园病害的早期预警和精准防治提供了可靠的技术支持，对推动农业智慧发展具有重要意义。

关键词： 目标跟踪   相似外观与非线性运动   斑马鱼   云边协同   斑马鱼三维轨迹重建系  

摘要： 目标跟踪作为计算机视觉领域的核心研究方向之一,在近年来取得了巨大突破,特别是随着目标检测精度的提高,在目标跟踪领域出现了越来越多基于检测的跟踪模型。然而当前主流算法大多基于人体外观特征的重识别与线性运动假设构建,在面对目标外观相似、非线性运动以及高密度群体交互等复杂场景时存在显著性能局限,严重制约了其在生物行为分析、体育赛事竞技分析等需求场景的应用。 斑马鱼与人类有87%的基因相似性,是世界上非常重要且流行的模式生物,其运动轨迹的精准获取在神经系统疾病研究和新型精神药物开发方面具有巨大的应用价值。然而由于斑马鱼的运动呈非线性、外观的相似性和易群居的社会行为,很难通过传统单视角检测跟踪方法或者现有的三维场景重建技术,来实现准确跟踪多条斑马鱼的3D轨迹,斑马鱼轨迹跟踪的算法模型具有很大的改进空间。因此本研究旨在针对目标跟踪任务中,部分目标具有相似外观与非线性运动的场景,以此来开展算法研究,对斑马鱼这一典型代表进行具体算法创新应用并利用云边协同架构完成3D轨迹跟踪系统落地。 本文通过算法创新与系统工程化设计,旨在解决相似外观、非线性运动和密集场景(群居行为)下多目标跟踪领域内出现的难题,同时为斑马鱼行为分析等典型应用场景提供了高精度、低延迟的智能跟踪解决方案,主要研究内容包括:(1)复杂场景下基于检测的多目标跟踪算法优化:针对传统卡尔曼滤波线性运动模型在斑马鱼非线性运动场景下的预测偏差与外观依赖问题,参考OC-SORT算法,在跟踪算法中引入ORU、OCM和OCR改进了基于检测的卡尔曼滤波跟踪算法,该算法在斑马鱼密集场景下的MOTA可达95.8%,多次发生遮挡或者交叉游动时的MOTA可达99.5%,提高了跟踪的准确性,实现了斑马鱼的鲁棒跟踪;(2)基于扩散(Diffusion)模型的斑马鱼跟踪方法:将扩散概率模型引入斑马鱼跟踪领域,提出一种适用于斑马鱼的“检测-跟踪”算法框架Diff MOT,在斑马鱼复杂运动序列预测任务中展现出显著优势,为生物群体运动建模提供了新范式;(3)云边协同的三维轨迹重建系统:针对当前斑马鱼轨迹跟踪研究中存在的局限性、边缘设备算力受限与三维重建高算力需求矛盾,设计了一种云边协同的斑马鱼检测跟踪与三维轨迹重建系统。在边缘端基于RK3588-S芯片部署YOLOv5s+OC-SORT跟踪算法,在分辨率为2704×1520的视频流处理中,实现单帧端到端推理延迟77ms(约合13 FPS),实现2D轨迹的实时跟踪;在云服务器部署多视角二维轨迹关联的三维轨迹重建算法,实现三维轨迹重建。