关键词： 自动驾驶   目标检测   行人检测   深度学习   YOLOv8  

摘要： 随着自动驾驶技术的快速发展,行人检测作为环境感知的核心任务之一,其准确性直接影响行车安全。然而,在复杂道路场景中,行人检测面临遮挡和小尺度目标带来的挑战。为此,本文以YOLOv8(You Only Look Once version 8)为基础框架,分别针对遮挡行人检测和小尺度行人检测进行创新性改进。并设计了一套完整的自动驾驶行人检测系统,通过实验验证了算法的有效性和系统的实用性,本文的主要研究内容包括: (1)针对遮挡行人检测问题,本文首先提出一种将RT-DETR(Real-Time Detection Transformer)算法的深度特征理解能力集成到实时检测性能更强的YOLOv8中的创新性思想,从而增强模型对遮挡目标的适应性。其次,为了抑制背景干扰并提升行人关键区域关注度,在YOLOv8主干网中嵌入通道-空间双重注意力机制模块,进而实现通道与空间特征的双重优化。最后,将损失函数替换为WIoUv3(Weighted Intersection over Union Version 3),通过动态梯度分配策略降低模型对极端样本的敏感性。在Wider Person数据集上的实验表明,改进后模型的平均检测精度相比原始YOLOv8提升了4%并且超过了大部分主流行人检测模型,同时检测速度满足自动驾驶场景的实时性要求。 (2)针对小尺度行人检测问题,本文提出了一种轻量级级联网络优化方案。首先,在YOLOv8的解耦头部集成坐标注意力机制,增强模型对位置信息的敏感性;其次,将骨干网络中的跨阶段双卷积模块替换为级联融合网络,提升多尺度特征提取能力;最后,在特征融合阶段引入双向加权特征金字塔,并增加强化小目标特征传递层。实验证明,改进后的模型相比原始YOLOv8网络模型,在Caltech Pedestrian和City Persons数据集上的平均检测精度分别提升2.4%和4.2%,同时计算量和参数量均有所降低,且各方面性能显著优于现有的其他主流行人检测算法。 (3)基于算法改进成果,本文完成了行人检测系统的工程化闭环设计。系统采用分层解耦架构,通过PyQt5实现可视化交互界面,并创新性提出纯视觉驱动的动态预警策略:基于道路区域分级与行人距离判定标准,设计三级预警触发机制。通过静态图片、视频流及实时摄像头测试,验证了系统在自动驾驶场景下的功能完备性。并通过系统的视频检测功能,选取了三段真实道路场景视频进行测试,这些视频涵盖了不同遮挡情况和多尺度行人目标。实验结果证明了改进算法及行人检测系统在真实道路场景下的实用性和鲁棒性。 综上所述,本文针对自动驾驶场景中行人检测的关键挑战展开研究,提出创新性算法改进方案并构建完整的检测系统。研究成果显著提升了复杂环境下行人检测的精度与鲁棒性,为自动驾驶系统提供了技术支撑,具有重要的理论意义和工程应用价值。

关键词： 目标检测   机场FOD   动态卷积   轻量化改进   注意力机制   机场安全  

摘要： 机场外来物(Foreign Object Debris,简称FOD)检测是机场安全领域研究的核心议题之一。随着人工智能等新技术的不断发展,基于计算机视觉技术的机场FOD检测成为新的研究方向,但通用的目标检测算法在面对机场这一特定场景下的检测任务时存在漏检、检测稳定性差等问题。因此,本文主要研究通过改进YOLOv8n算法,以实现准确稳定地检测机场FOD,具体研究工作内容如下: (1)针对目前学术研究领域中,用于机场FOD检测的数据集较为匮乏的问题,本文在深入研究公开的机场FOD数据集和通用小目标检测数据集特性的基础上,结合机场道面的特点和深度学习算法的技术特征,构建了可用于机场FOD检测研究使用的FOD-Tiny数据集,最大限度模拟了真实道面背景下的机场FOD,为之后FOD检测算法的研究奠定了坚实的数据基础。 (2)由于机场道面特征较为复杂且FOD的尺寸小、形态多样,导致YOLOv8n算法在检测时易出现漏检和检测稳定性差的问题。因此,本文提出了OD-YOLOv8n算法,通过引入动态卷积增强了图像特征的提取能力,同时加入高效卷积算子降低了算法参数量,提升了检测精确率;在路径聚合网络中融合P2特征层,借鉴Bi FPN架构的思想设计了P2-Bi FPN特征融合网络,增强了多尺度图像特征信息的融合能力,丰富了算法网络中的图像特征信息流;为加快算法训练的收敛速度并提升训练效率,使用Inner-SIo U损失函数提升其边界框的回归速度,并提高其定位FOD的精确性。 (3)为实现算法的轻量化改进,本文在OD-YOLOv8n算法的网络架构基础上,引入轻量化注意力机制EMA和基于部分卷积而构建的新的神经网络(Faster Net),以此优化改进C2f模块,同时保留OD-YOLOv8n算法中的动态卷积和P2-Bi FPN网络架构,提出了Light-Bi YOLOv8n算法,进一步降低了参数量,同时显著减少了算法训练后生成的模型体积,更有利于部署在终端设备中,同时也维持了其检测的精确率。 本文依据机场FOD的特点自制FOD-Tiny数据集,并针对性地优化了YOLOv8n目标检测算法,实现了准确稳定地检测机场FOD,为基于图像识别技术的机场FOD检测研究提供了新的思路和方法。

关键词： 目标检测   对抗攻击   迁移性   黑盒  

摘要： 人工智能技术自20世纪一路发展至今,已经在自然语言处理、计算机视觉等领域取得了长足的进步,人脸识别、智能驾驶、智慧医疗等相关技术已经进入了人们的日常生活,展现了其巨大的研究和应用价值。然而,对抗攻击技术的出现告示着人工智能技术并非完美,精心设计的微小噪声就可以误导深度学习模型预测错误,这揭示了其脆弱性。对抗攻击技术正在挑战人工智能的安全性和可信赖性,而研究对抗攻击的机理不仅有助于理解模型的脆弱原因所在,还能为开发相应的对抗防御方法创造新的可能性。此外,对抗攻击研究还为探索模型的可解释性提供了新思路,有助于揭示模型的决策逻辑和其中潜在的缺陷。本研究旨在探究黑盒情境下针对目标检测模型的对抗攻击方法,提高对抗样本的攻击能力和攻击不同模型时的迁移性,为构建可信赖可解释的安全的人工智能技术奠定基础。 目前针对目标检测的对抗攻击方法或利用源模型输出的预测信息,或使用源模型集成策略稳定更新梯度,对于源模型内部的通用网络结构和各层次特征等信息缺乏有效利用。本论文在明确对抗补丁的优化生成框架前提下,从源模型的权重参数、特征图和反向传播梯度等内部信息角度展开研究,探索高攻击性、高迁移性的对抗补丁生成算法。本文研究内容如下: 针对基于卷积神经网络的目标检测模型,本文提出了聚合特征攻击方法,该方法首先通过在对抗样本中随机抹除部分像素,生成多个副本以实现数据增广。随后将这些增广对抗样本送入源模型并获得反向传播后对应的梯度,将梯度聚合以剔除特定于源模型结构的偏好信息并将其用于原对抗样本的特征校准,来获得更加稳定的对抗样本更新方向,提高其攻击迁移性。为了更加充分地利用源模型的内部信息,提出了一致特征攻击方法,该方法首先利用中间层梯度和深层梯度分别校准对应的特征图,利用深层校准特征图中更丰富的语义信息与中间层校准特征融合,设计一致损失函数引导对抗样本破坏模型的目标感知能力从而降低其性能。 针对基于Transformer的目标检测模型,本文受特征坍缩现象启发,设计特征相似度损失加强源模型中编码器与解码器输出的特征的相似性,减弱特征中的语义信息从而破坏其原本的功能性。鉴于位置编码嵌入对视觉模型的重要性,设计位置损失攻击编码器中自注意力层的位置信息融合过程,使得模型缺乏对输入图像的空间结构理解以降低其定位能力。根据对抗补丁的优化生成框架,将源模型视为该框架的一种输入,使用模型自集成策略简洁高效地增加源模型的数量,以辅助对抗补丁更加稳定地优化更新。 本研究在INRIA和COCO-Person数据集上进行了数字域攻击实验,还将对抗补丁打印并应用于真实场景中,以开展物理世界中的对抗攻击测试与验证。实验结果表明了本文所提出的方法的有效性,可视化结果也侧面验证了本文所提出的攻击方法对模型推理的影响。

关键词： 目标检测   定向目标检测   交叉一维卷积   可变形卷积   边界框回归损失函数  

摘要： 在计算机视觉领域,目标检测是一项旨在对图像中的目标进行精确定位、分类并分配置信度分数的基本任务。根据目标边界框的类型,目标检测可细分为水平目标检测和定向目标检测两类。水平目标检测通常采用水平边界框对目标进行标注,然而在处理遥感图像、航空图像等具有方向性特征的目标时,水平边界框难以准确表征目标的空间位置和几何形状。为此,研究者提出了定向边界框的概念,并发展了相应的定向目标检测算法,这些算法通过引入角度参数,能够更精确地捕捉目标的方向和形状特征,从而显著提升检测性能。 本研究围绕水平和定向目标检测两大研究方向展开,核心创新点如下: (1)针对水平目标检测任务,提出了一种基于高效的多尺度交叉一维卷积的增强型YOLOv10-N模型。该模型设计了高效的多尺度交叉一维卷积块和增强型紧凑倒置块,有效解决了传统一维卷积参数量减少导致的模型性能下降问题。同时,针对目标定位精度不足的挑战,提出了基于锚框的交并比边界框回归损失函数。在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO 2017数据集上的实验结果表明,该模型在计算量低于10G的条件下实现了最优检测精度。此外,本研究还将高效多尺度交叉一维卷积块和基于锚框的交并比边界框回归损失函数扩展至YOLOv7-T(YOLOv7的轻量级版本),实验结果表明所提方法同样表现良好。 (2)针对定向目标检测任务,提出了一种增强型定向R-CNN模型。该模型设计了一种多尺度可变形交叉一维卷积,在保证计算效率的同时实现了多尺度特征的有效融合。此外,针对定向目标检测中存在的定位精度不足和边界不连续问题,提出了角度双偏移量约束的交并比损失函数。在DOTA 1.0数据集上的实验结果表明,增强型定向R-CNN模型在略微增加参数量和FLOPs的同时显著提升了检测精度。 本研究提出的增强型YOLOv10-N模型通过高效的多尺度交叉一维卷积块实现了多尺度特征的高效融合,结合基于锚框的交并比边界框回归损失函数显著提升了边界框定位精度;增强型定向R-CNN模型则通过多尺度可变形交叉一维卷积实现了多尺度特征的有效提取,提高了对具有任意形状和方向的目标的检测能力,结合角度双偏移量约束的交并比损失函数确保了定向边界框的准确定位。与现有水平目标检测和定向目标检测方法相比,本研究提出的方法在检测精度和计算效率方面均展现出显著优势,为目标检测领域的研究提供了新的研究思路。

关键词： 目标跟踪   自顶向下注意力   曼巴   多模态目标跟踪  

摘要： 视觉目标跟踪是人工智能与计算机视觉领域的重要基础课题,近年来在先进算法设计思想与大规模高质量的数据集支持的驱动下取得了显著进展。视觉目标跟踪研究主要聚焦于RGB视频数据的处理,但这种传统方式在复杂环境中容易受到光照变化、遮挡等干扰,难以实现稳定跟踪。为应对这一挑战,多模态跟踪算法通过引入辅助数据(如深度、热红外和事件等)显著提升算法的鲁棒性和适应性。受高性能RGB跟踪算法和提示学习的启发,当前多模态跟踪模型通过RGB预训练模型高效融合多模态信息,在复杂场景中展现出更优的性能。 然而,要想实现高性能鲁棒的多模态目标跟踪,注意力机制带来了不小的挑战。当前的多模态跟踪器依赖自下而上的注意力机制,在学习目标特征过程中忽略了自上而下的跨模态引导,导致模型学到的目标特征的判别能力不足。此外,为实现时空建模,现有算法通常引入额外的注意力模块,但注意力的高二次复杂度使得跟踪器在时空建模时难以同时利用其增强模型跨模态特征交互的能力。 针对上述挑战,本文围绕自顶向下的跨模态引导与时空曼巴框架,深入研究多模态跟踪问题,并提出了两种创新性解决方案。主要研究内容如下: (1)为解决多模态跟踪器过于依赖自底向上的注意力导致学到的目标特征的判别能力不足这一问题,本文提出了一种新颖的RGB-T多模态跟踪器,称为基于自顶向下跨模态引导的RGB-T跟踪器(Top-Down Cross-Modal Guidance for Robust RGB-T Tracking,TGTrack),它设计了一个自顶向下跨模态引导机制,以两个步骤学习目标特征。在步骤1内,本文的TGTrack通过多模态编码器-解码器和先验向量有效生成自上而下的跨模态引导信号。在步骤2中,这些信号通过跨模态编码器的注意力层进行传递和集成,以提高模型对目标特征的判别能力。此外,在步骤2中,本文引入了一个基于注意力驱动的时空更新器来更新具有判别性的目标特征。通过跨帧的注意力引导,它有效地消除了搜索区域内的无关特征。因此,TGTrack可以有效避免复杂的多模态融合模块,实现稳健的多模态RGB-T跟踪。该算法在三种流行的多模态目标跟踪公开数据集(即Las He R,RGBT234和RGBT210)达到了先进的性能。 (2)为解决注意力机制高计算复杂度对时空视觉线索与跨模态交互统一建模的限制,本文提出了基于曼巴的跨模态交互与时空建模统一的多模态跟踪算法(Unifying Cross-Modal Interaction and Spatio-Temporal Modeling for Multi-Modal Tracking via Mamba,UBATrack)。UBATrack设计了跨模态时空曼巴架构,实现跨模态交互与时空视觉线索的统一建模。针对曼巴在多模态特征建模中的不稳定性问题,本文引入多模态频域变换块,通过特定特征值进行通道建模。在此框架下,无需完全微调RGB跟踪器模型,仅需训练跨模态时空曼巴模块即可对连续跨模态上下文进行建模。UBATrack利用曼巴实现令牌建模,并通过多模态频域变换增强通道建模,使跟踪器能获取更具判别力的视觉线索,显著提升跟踪鲁棒性。此外,UBATrack引入多模态融合多层感知机,帮助跟踪器在复杂跨模态信息中高效融合搜索区域特征。在RGB-T、RGB-D和RGB-E跟踪的6个公开数据集(即Las He R,RGBT234,RGBT210,Depth Track,VOT-RGBD22和Vis Event)上,UBATrack均取得了领先的性能表现。

关键词： 医学图像   目标检测   图像分割   云平台  

摘要： 医疗图像云平台作为医院信息化建设的重要组成部分,直接为医疗图像的分析和诊断提供支持。本文研究的医疗图像云平台致力于帮助医生快速进行医学图像分析处理,在初期云平台计算资源不足的环境下,针对医学图像分析算法的研究中主要围绕着目标检测、图像分割和轻量化考察,具体工作内容如下: (1)选择组件化的一阶段检测算法YOLOv5s作为研究算法。通过Efficient-Net V2轻量化网络模型结构对YOLOv5s算法进行骨干网络替换,在保持对病灶的检测精度上,降低了原YOLOv5s的约25%计算参数量和60%计算资源需求,在检测到病灶之后进行分类标记,精确找到病灶的区域范围,帮助医生快速定位病灶位置。 (2)对水平集算法进行研究,从水平集的曲线演化理论开始,渐进式分析距离正则化变分水平集(DRLSE)算法,进而对DRLSE算法进行引入热图。通过对热图的平滑处理进而得到新的指示函数,替换之前的面积项指示函数,并以平滑后热图作为处理的初始状态,减少了DRLSE算法迭代的次数,进而减少了约60%处理时间,提高了DRLSE算法分割的效率。 (3)将本文改进的ENV2-YOLOv5s检测算法与改进DRLSE算法结合构成了医学图像的自动图像分割框架,由检测框约束了改进DRLSE算法的计算范围,使得结合型算法图像处理时间更短。通过该思路进行拓展,将ENV2-YOLOv5s检测算法与SAM分割算法相结合,以检测框作为SAM算法的输入进行分割,构建了全自动算法,实现了高精度处理和高度自动化能力。 (4)本文构建了面向医学图像分析的云平台。根据系统的需求分析,将云平台划分三个功能模块:通用功能模块包含非核心功能的其他功能;图像展示模块负责对医学图像文件的加载解析并提供多种辅助查看工具;图像处理模块对用户上传的医学文件进行算法调用以实现检测和分割处理。 本文通过公开脑膜瘤数据集对各算法进行实验分析,结果表明ENV2-YOLOv5s与引入热图的改进DRLSE算法的结合方案能够准确迅速分割出大脑中的脑膜瘤,并计算资源需求较低,符合本文的研究场景。本研究验证了深度学习目标检测算法与水平集分割算法结合在图像分割的优势,体现了在云平台上部署便捷,计算需求低的优势,为医学图像云平台算法集成提供了一个实用的思路。

关键词： YOLOv5   工务安全   深度学习   目标检测  

摘要： 目前铁路工务安全事故时有发生，现有的铁路工务安全监督方案效率低下且难以有效保障工务活动的安全进行。提出了一种基于改进YOLOv5的铁路工务人员防护装备检测方案，实现对铁路工务人员穿戴的安全帽和反光背心的实时检测。针对因铁路场景背景而造成的漏报、误报及检测不准确的问题，引入空间特征重构模块(spatial reconstruction unit, SRU)及通道注意力模块(efficient channel attention, ECA)在空间和通道两个维度上增强网络的特征表达能力，有效筛选有效特征并去除冗余特征；通过引入边界框损失W-IOU(weighted intersection over union)函数降低低质量样本对训练的影响，提升模型收敛能力。通过实验验证，模型平均准确率为94.3%,精确率为94.9%,召回率为94.7%,相比于基础网络分别提升了2.2%、2.5%和1.6%,推理速度达到34.5 FPS(帧/s),可以实现在真实工务环境中的实时检测。

关键词： 多目标跟踪   目标重识别   跨模态   重排序  

摘要： 随着人工智能技术的飞速发展和智慧城市建设的深入推进,智能监控系统在社会安全、交通管理、工业生产等领域发挥着越来越重要的作用。目标跟踪与重识别作为智能监控领域的核心技术,能够在大规模监控网络中实现对特定目标的精准定位和检索,对于提升监控系统的智能化水平具有重大意义。然而,现实场景中目标外观和运动模式的多变性、复杂背景的干扰、摄像机风格和位置的差异等因素,对系统的定位与识别性能提出了严峻挑战。 本文聚焦于目标跟踪与重识别领域中的关键技术,分别从启发式离线框架设计、高效跨模态训练与推理、以及辅助信息挖掘和重排序三个方面进行了深入研究,提高了目标跟踪和重识别模型的准确性和鲁棒性。本文的主要研究内容包括: 1.提出了一种基于启发式策略的混合多目标跟踪框架,从外观特征提取与维护、运动信息估计与相机运动补偿、匹配损失与算法等多个方面,对经典跟踪算法DeepSORT进行优化,提升了跟踪算法的准确性。同时针对关联丢失问题,设计了不依赖视觉信息的轨迹连接性预测模块,在不明显增加推理成本的前提下,提升了跟踪的稳定性。针对检测丢失问题,提出了一种基于高斯过程回归的插值策略,增强了非线性运动场景下的插值准确性,并为下游任务提供了更稳定的目标轨迹。在MOT17、MOT20、DanceTrack、KITTI等多目标跟踪数据集上的实验,证明了所提出的框架和优化方法的有效性和鲁棒性。 2.提出了一种层级启发式多目标跟踪框架,使用递增的轨迹间隔阈值作为层级划分基准,所有层级使用相同的关联算法设计和阈值,构建了统一的离线跟踪框架,提升了目标帧间的关联稳定性。同时针对多目标跟踪算法中存在的,即目标尺寸不一致、相机运动不一致和层级信息不一致三种问题,通过改进关联算法分别提出了相应的解决策略。在MOT17、DanceTrack、KITTI和VisDrone等多目标跟踪数据集上的实验,验证了所提框架的灵活性和鲁棒性。 3.提出了一种文本多目标跟踪框架,能够根据自然语言描述跟踪特定目标。具体地,首先设计了一种级联跨模态跟踪框架,通过将该任务解耦为目标跟踪和跨模态轨迹筛选两个子任务,避免模型优化过程中的任务竞争问题,并降低训练和推理计算成本;然后提出了一种跨模态轨迹理解模块实现基于文本描述的轨迹筛选,并研究了三种基于文本信息指导的视觉特征提取策略,从而缓解跨模态“一对多模糊匹配”问题对模型训练和推理的影响。在多个数据集上的实验证明,所提出的框架不仅取得了最优的跨模态跟踪性能,还降低了模型训练和推理成本,提升了其在实际应用场景中的适用性。 4.构建了大规模像素级对齐的“可见光-红外”跨模态目标重识别数据集,并设计了一种基于部分共享双分支网络的时域跨模态重识别基线框架。同时为了充分利用单摄像机样本,提出了一种基于动态课程系数的联合学习框架;在推理阶段,提出了一种交叉时域操作来建模样本间细粒度时域相关性信息,优化k互近邻重排序算法。实验结果表明,所提出的方法缓解了样本模态差异造成的干扰。 5.提出了一种基于粗略文本描述辅助的跨模态目标重识别框架,能够通过文本信息补充样本中缺失的模态特征,提高模型的检索能力。具体地,为了解耦目标中的判别性特征,提出了一种双分支解耦网络,实现目标纹理特征和颜色特征的解耦和聚合。训练阶段,提出了一种基于文本IOU的正则策略来稳定颜色编码器的优化过程。推理阶段,提出了“约束搜索”、“划分搜索”和“扩展搜索”三种近邻搜索策略,缓解近邻样本中的模态偏差问题。在SYSU-MM01、RegDB和LLCM等数据集上的实验,验证了所提出的文本辅助策略和跨模态重排序方法的有效性。