关键词： 三维目标检测   多级特征融合   体素特征   多模态融合   激光雷达  

摘要： 随着人工智能生成内容技术的快速发展,汽车行业正从“软件定义”向“数据定义”模式转变。自动驾驶作为其核心应用之一,依赖多传感器协同感知环境,并通过车载计算平台完成实时推理与决策。环境感知能力直接决定了自动驾驶系统的安全性和可靠性,但是在小目标(如行人、骑行者)检测方面仍面临显著挑战。 当前自动驾驶三维目标检测主要依赖相机和激光雷达。相机能够提供高分辨率的图像信息,在纹理细节和颜色感知方面具有明显优势,有助于提升目标类别的判别能力。然而,由于其本身不具备深度感知能力,且在逆光、夜间等复杂光照条件下性能易受影响,难以满足三维空间中目标定位与距离估计的需求。激光雷达则能够生成高精度三维点云,提供可靠的深度信息,且在弱光或强光干扰等复杂环境中依然具备稳定的感知能力,能够有效弥补相机在三维目标检测中的不足。 尽管现有算法使用多传感器融合的方案对目标检测性能有一定提升,但在复杂场景中对小目标的检测精度仍然存在明显不足,亟需更有效的特征建模与融合策略以提升感知性能。本文提出的研究工作主要包括以下两个方面。 (1)优化激光雷达点云的特征提取策略。传统方法受限于点云的稀疏性与不规则性,导致特征表达能力不足。本文采用体素化处理方式,结合多级特征融合机制,构建显式体素特征提取模块,从而增强对不同尺度目标的感知能力,尤其提升对小目标边缘与角落特征的捕捉效果。 (2)提出基于实例引导的图像—点云融合方法。传统多模态融合方法易受背景噪声干扰,导致融合特征质量下降。本文通过语义分割网络提取图像实例信息,与点云数据进行匹配融合,从而提高语义一致性和鲁棒性,减少背景噪声的影响,使模型在复杂场景下具备更强的目标识别能力。 为验证方法有效性,本文在KITTI和nuScenes数据集上进行了系统性对比实验和消融分析。实验结果表明,所提出的方法在小目标检测精度和模型鲁棒性方面均取得显著提升,为自动驾驶环境感知模块的优化提供了有效方案。

关键词： 机场跑道异物   多模态图像融合   目标检测   CDDFuse   YOLOv7  

摘要： 机场跑道异物（Foreign Object Debris,FOD）对航空器起降构成极大的安全威胁。目前大部分机场采用检测效率有限的人工巡检方式,少部分机场采用雷达探测、光学检测或者多技术融合的方式。雷达探测方式存在安装维护成本高、后端信号处理复杂以及可能造成未来机场发展的电磁兼容问题。传统的光学检测方式采用可见光图像,检测效果在光照条件较差的情况下会大打折扣,通过与红外图像进行融合能有效解决该问题。本文对FOD红外与可见光图像进行基于改进CDDFuse模型的融合处理后,对融合图像进行基于改进YOLOv7模型的目标检测,实现了在光照条件较差情况下对FOD的高精度检测,为实际情况下的FOD检测算法优化提供了思考方向。 本文的主要研究结果有: （1）选择CDDFuse模型作为FOD红外与可见光图像融合的基础模型,对CDDFuse模型进行针对编码器与解码器的优化改进。在编码器的SFE模块引入八度卷积结构,针对源图像特征图中的高频信息与低频信息分别进行特征提取,为SFE模块中的后续多头自注意力机制模块提供信息量更丰富的输入特征,实现对编码器特征提取能力的强化。在解码器对融合图像与可见光图像的残差连接部分引入SE注意力机制,合理调整各通道权重使得最终融合图像适宜人眼视觉观测。使用自制FOD图像数据集（my FOD图像数据集）、TNO数据集、Road Scene数据集以及LLVIP数据集对改进CDDFuse模型进行消融实验与对比实验,选择EN、SD、SF、MI、SCD、VIF、QAB/F与SSIM作为衡量指标。改进CDDFuse模型在消融实验与对比实验结果中均表现出优秀的图像融合性能。 （2）选择YOLOv7模型作为FOD图像目标检测的基础模型,对YOLOv7模型进行针对主干网络、加强特征提取网络以及边界框定位损失的优化改进。在主干网络下采样模块前添加CBAM使主干网络提取特征时加强对小目标信息的关注度。在加强特征提取网络结合AFPN思想结构提出SA-PANet,在缓解非相邻有效特征图之间语义差距的同时实现对模型参数量和模型计算量增幅的有效控制,在PANet结构下采样支路中引入Bi Former模块,强化对小目标特征信息的提取。在边界框定位损失计算中引入MPDIo U Loss,达到加速模型收敛速度并提高FOD检测精度。使用my FOD融合图像数据集在改进CDDFuse模型得到的融合图像以及FOD-A数据集对改进YOLOv7模型进行消融实验与对比实验,选择m AP50、GFLOPs以及Params作为衡量指标。改进YOLOv7模型与原始YOLOv7模型相比,GFLOPs提升了33.90%,Params提升了47.33%。在my FOD融合图像数据集上m AP50上升了10.71个百分点,在FOD-A图像数据集上m AP50上升了9.09个百分点。改进YOLOv7模型在消融实验与对比实验结果中均表现出优秀的目标检测性能。

关键词： 目标检测   可迁移性   鲁棒性   对抗攻防  

摘要： 近年来,得益于人工智能的快速发展,基于深度学习的目标检测研究取得巨大进步,成果广泛应用于智能交通等领域。大量研究表明深度神经网络具有脆弱性,尤其是对抗样本的出现,使得目标检测等众多算法模型面临严峻的安全挑战。在复杂决策任务情境下,探究可迁移对抗样本的生成方法与模型鲁棒性增强方法具有重要的意义。这些研究将促使相关研究者关注算法模型的安全性问题。基于此,本文紧密围绕目标检测任务,从对抗样本特性与模型自身特性这两个关键维度出发,深入开展可迁移对抗样本生成机制的研究。并在此基础上,进一步探寻增强目标检测模型对抗鲁棒性的有效方法。具体研究工作如下: (1)针对当前目标检测对抗样本生成方法仅适用于单一模型,迁移性欠佳的问题,本文提出基于干净特征融合的平衡混淆攻击技术。当实施集成攻击时,通过权重平衡与优化增强对抗样本的可迁移性,并融入干净特征对生成的对抗扰动进行优化。实验结果表明,在YOLO等主流目标检测模型上,所提方法使平均精度(mAP)下降40%-70%,且拥有最高的TSR(迁移成功率)。 (2)受注意力机制启发,本文提出一种基于动态注意力与多尺度特征融合的鲁棒性增强方法。通过动态特征选择、细粒度特征捕捉和多分支融合策略,精准捕捉复杂场景下目标的关键特征,实现高效特征学习与鲁棒性提升,增强目标检测模型抵御对抗样本干扰的能力。实验结果表明,在BFCA和UEA等对抗攻击下,该方法使目标检测模型的平均精度(mAP)提升20%-30%,优于基线防御方法。 (3)本文开发一个面向目标检测的对抗攻防系统,融合了前文提出的对抗样本生成与模型鲁棒性增强两种方法,并集成多种目标检测模型、算法以及丰富数据集。系统不仅能够高效生成对抗样本,还支持多模型的鲁棒性测试与增强验证,同时具备良好的可扩展性,便于对接新方法和扩充模型库,以适应技术发展需求。 在公开数据集上的实验结果表明,生成可迁移对抗扰动的方法成效显著,能使对抗样本在多种目标检测模型间实现高效的跨模型迁移。并且所提出的鲁棒性增强方法能够显著提升模型在复杂对抗环境下的鲁棒性。本文所提出的两种方法为对抗样本防御体系的完善和模型鲁棒性评估技术的发展提供了关键的技术支撑。

关键词： 无人机航拍图像   小目标检测   目标遮挡   轻量化  

摘要： 无人机航拍图像目标检测能够提升空中监测、灾害救援等领域的自动化水平和决策效率。然而,无人机航拍图像在目标检测任务中存在显著技术挑战,主要表现为复杂环境背干扰、广域视角拍摄、小尺度目标特征和目标密集重叠等特点,并且现有小目标检测模型速度慢、参数量大。其中,微小目标识别和目标遮挡问题尤为突出,通用目标检测算法在该场景下对航拍图像的检测效果较差。因此,本文针对当前算法在无人机航拍图像目标检测方面的不足,在YOLOv8算法的基础上,对模型的网络结构进行改进,并对其进行轻量化处理。本文主要研究内容如下: 针对无人机航拍图像中目标特征小和目标重叠的问题,提出基于多尺度特征融合的检测方法。首先,提出了多尺度协调模块,旨在结合深层特征图的高维语义信息和浅层特征图的细节信息,更全面地提取小目标和重叠目标的特征,从而提升检测性能。其次,提出了多尺度特征增强模块,旨在从全局到局部的不同尺度上学习特征表征,从而有效捕获小目标的细粒度信息和上下文语义信息,提高模型的特征提取能力。最后,引入Soft-NMS非极大值抑制策略,降低了小目标的误检率和漏检率。在通用数据集上对提出的方法进行试验,结果表明,本文提出的方法显著提高了平均精度均值,证明了该方法在处理无人机航拍图像中目标特征小和目标重叠的问题具有有效性。 针对小目标检测模型速度慢、参数量大等问题,提出轻量化的优化方法。首先,设计共享检测头,通过合并三个检测头的卷积操作为共享结构,结合Group Norm标准化技术减少冗余参数,并引入尺度层对特征图进行多分辨率调整,增强多尺度目标检测能力,显著提升小目标检测精度。其次,提出C2G-Net轻量化模块,通过低成本卷积生成基础特征图,结合5×5深度卷积压缩计算量,降低模型参数量。然后,引入Shuffle Net V2,通过分组卷积机制显著降低模型复杂度,使用上采样算子CARAFE代替最近邻上采样操作。最后,提出了CSLN模块。实验表明,在Vis Drone-2019与RSOD数据集上,模型在保证精度的同时显著降低计算复杂度,为资源受限场景提供高效解决方案。 本文设计并实现了无人机航拍图像目标检测系统。通过详细的需求分析,明确了功能和技术实现,系统采用Py Qt5构建简洁直观的用户界面,支持文件选择、模型切换、检测操作及结果反馈。同时,集成多种目标检测算法,实现自动统计检测结果,并能在多种硬件条件下稳定运行,为提升检测效率与准确性及智能化应用提供了可靠支持。

关键词： 结构损伤巡检   智能体导航   计算机视觉   深度强化学习   多模态信息融合   辅助任务增强  

摘要： 传统结构巡检依赖于人工目视检查，高度依赖经验，缺乏安全性保障，时间人力成本昂贵。近年来，机器人、计算机视觉、深度学习等新技术为结构智能巡检提供了崭新手段。为此提出了基于广义视觉的结构巡检智能体导航方法，建立了融合建筑结构损伤信息的视觉导航智能体交互试验环境，设计了光学图像和深度信息多模态融合感知网络，构建了基于多辅助任务的深度强化学习自主导航决策模型。具体地，采用轻量化MiDaS网络实现单目图像的实时深度估计，通过特征融合机制将光学图像信息与深度图进行多模态融合，继而传递给视觉导航模型；基于A3C算法提出了结构损伤驱动的深度强化学习导航架构，嵌入了LSTM长期记忆模块和价值网络解耦模块，设计了碰撞预测和奖励预测辅助任务，实现了基于多模态信息的视觉导航高效增强。跨场景试验验证结果表明：该研究提出的视觉导航模型在多种结构损伤环境下均展现出良好的有效性和泛化能力，实现了由场景感知图像到无地图导航策略的精准映射，解决了传统导航方法缺乏长期记忆功能、新环境泛化能力不足等难题。

关键词： 无人机巡检   计算机视觉   目标识别   轨迹规划   视觉检测  

摘要： 随着“三亿人参与冰雪运动”国家战略的推进,我国冰雪产业持续发展,滑雪场数量和滑雪人次逐年增加。然而,雪场索道作为滑雪场的核心基础设施,其运维管理压力不断增加,传统的雪场索道巡检方式逐渐暴露出巡检效率低、覆盖面不足以及人工误判等问题。近些年,无人机技术的持续发展,使得无人机在各类巡检领域得到广泛应用,无人机能够搭载各类型传感器执行对低空、复杂环境下的设备巡检任务。因此,可利用无人机技术完成雪场索道中的各项巡检任务,为雪场索道的安全运行提供有力保障。本文围绕雪场索道巡检需求,研究了基于无人机的巡检关键技术。针对现有巡检方式存在的问题,提出了基于视觉的索道缆绳识别与跟踪方法,研究了面向索道支架的无人机巡检轨迹规划算法,并提出了针对索道组件的视觉检测算法。旨在实现雪场索道的缆绳巡航、全面数据采集以及索道组件视觉检测,从而为雪场索道的智能化巡检与预防性维护提供精准、高效的技术支持。本文的主要工作和成果包括以下几个方面: （1）设计了面向雪场索道的无人机巡检系统。通过分析雪场索道的巡检需求,明确了巡检系统的核心任务。基于需求分析,构建了机载-地面协同的巡检系统,设计了无人机巡检任务实现流程。基于针孔相机模型,建立了单目相机成像的数学模型,并通过标定试验获取了机载相机的内参矩阵,为后续的偏差距离解算奠定了理论基础。 （2）研究了基于视觉的缆绳识别与跟踪技术。针对雪场索道巡检效率低和无人机飞行安全问题,本文提出了一种基于视觉的缆绳识别与跟踪技术。通过引入主方向一致性约束机制和直线合并后处理步骤,改进了传统LSD算法,实现了对索道缆绳的精确识别。利用直线检测结果构建了偏差距离解算公式,从而求解出无人机与缆绳之间的实际物理偏差。仿真试验表明,改进LSD算法有效提升了检测精度和鲁棒性,并满足了巡检系统的实时性要求;静态测距试验结果表明偏差距离解算的误差满足巡检系统的精度要求。 （3）研究了面向索道支架的巡检轨迹规划算法。为了确保无人机能够全面采集索道支架关键部件的图像数据,本文提出了一种基于Informed采样的双向RRT*算法,引入了双向搜索扩展策略加速轨迹规划过程,设计了启发式信息引导机制为随机树扩展提供目标导向性;采用了Informed-RRT*采样策略加速了轨迹优化过程与收敛速度;并通过贝塞尔曲线平滑轨迹,提高了轨迹的连续性和可操作性。试验结果表明,改进RRT*算法在搜索效率和轨迹质量上均有提升,且在不同环境下具有良好的鲁棒性和稳定性。 （4）研究了面向索道组件的视觉检测算法。针对索道组件识别率较低的问题,本文对YOLOv8进行了针对小目标检测的改进,设计了SO-PAN结构,将浅层特征图引入颈部网络,强化不同层之间的特征融合,提升了小目标检测精度;提出了Multi-Concat模块替代Concat模块,通过动态跨层级特征交互机制,实现了多模态特征融合;设计了LSC检测头利用参数共享机制,提高了参数利用率并减少参数量,引入了Wise-IoU损失函数,提升了算法在复杂场景下对小目标和遮挡目标的检测鲁棒性。构建了雪场索道螺栓组件数据集,并结合数据增强技术对数据集进行优化和扩充。试验结果表明,改进YOLOv8算法在索道组件的检测精度上较大提升。 综上,通过本论文的研究能够解决雪场索道运维中存在的巡检效率低、漏检误判等问题,为推广无人机在雪场索道复杂环境下的巡检应用奠定了理论基础。

关键词： 目标检测   图像模糊   域自适应   半监督学习   均值教师  

摘要： 随着计算机视觉和人工智能的蓬勃发展,基于深度学习的目标检测方法得到了广泛研究,但当使用场景中存在运动模糊因素(如视觉辅助自动驾驶车辆的运动、手持相机拍摄时的抖动)时,图像会因为运动模糊而退化。由于域差异的存在,通用的目标检测器在运动模糊图像上往往表现出显著的性能下降。 在目标检测之前进行图像去模糊可以改善对于运动模糊图像的检测效果,但去模糊算法往往计算复杂度高,因此会破坏目标检测的实时性;若将图像去模糊和目标检测两个任务关联起来,以并行的方式同时训练去模糊和目标检测,使去模糊朝着有利于检测的方向进行,就可以在检测效果和检测实时性之间取得平衡,但为了保证检测的实时性,此类方法使用的去模糊模块往往是轻量化的,其有限的去模糊效果只能带来有限的检测效果提升。为了能在具有显著外观差异的不同图像域上都取得良好的检测效果并保持检测实时性,域自适应目标检测方法被提出,其中基于均值教师的半监督域自适应目标检测方法近来受到广泛关注。但不同图像域之间过大的差异导致此类方法面临着模型偏向源域、生成的伪标签质量差等问题,进而恶化模型的检测效果,体现在检测结果中存在大量漏检和误检。 针对上述问题,本文提出一种基于均值教师模型的模糊图像目标检测框架,旨在提高目标检测模型对于运动模糊图像的检测质量,同时保持对清晰图像的检测效果,并保证检测的实时性。本文框架从域内和域间两个维度减小域差异,提高教师模型产生的伪标签质量并最终有益于目标检测效果。本文主要研究内容如下: (1)为了解决目前域自适应目标检测算法在图像模糊场景下目标检测困难,检测精度不高的问题,本文提出一种基于均值教师模型的运动模糊图像目标检测框架。该框架在图像域内和图像域间两个维度进行对抗训练:在域内维度,引入一个双分支判别器同时判别域来源和图像模糊程度;在域间维度,构造额外的由合成模糊图像组成的辅助域,辅助域一方面提供更多的类目标域数据避免模型偏向源域,另一方面为双分支判别器的图像模糊程度判别分支提供标签。该框架不改变目标检测模型结构因此不增加推理时间,在保证实时性的同时取得了检测效果的显著提升。 (2)针对目前运动模糊图像合成算法准确度不高,导致合成模糊图像和真实模糊图像之间存在域偏移进而降低算法在真实场景中的泛化性的问题,本文提出了一种新的非均匀运动模糊合成算法,在合成速度和合成效果之间取得了平衡,从数据层面缓解了域偏移问题。 (3)基于所提出的算法,本文设计并实现了一个模糊场景下的布匹瑕疵检测系统,该系统能够实现对清晰的以及存在运动模糊的布匹瑕疵进行自动化定位和分类,提升了现实场景下布匹瑕疵检测工作的准确度和效率。

关键词： 伪装目标检测   多视角检测网络   动态自适应缩放策略   多视角多尺度特征  

摘要： 伪装目标检测(Camouflaged Object Detection,COD)是计算机视觉领域中的一项重要且具有挑战性的任务。该任务旨在从复杂背景中检测并识别出伪装目标,广泛应用于军事、农业、医疗等领域。伪装目标通常与背景的颜色、纹理等视觉特征高度相似,使得传统的目标检测方法在处理此类任务时面临较大困难。随着深度学习的飞速发展,基于深度神经网络的方法在特征表达方面展现出强大的优势,能够有效提高伪装目标的检测精度。针对现有伪装目标检测算法在特征聚合及模型效率方面的不足,本文提出基于多视角多尺度特征的伪装目标检测方法,主要工作如下: (1)现有的伪装目标检测算法在处理伪装目标与背景相似度较高的图像时,通常面临特征提取和融合不足的问题。为了提升检测性能,本文提出了一种基于RGB和噪声特征的多视角检测网络。该方法通过结合RGB图像和噪声图像的特征信息,充分利用两者的互补性,从而提高伪装目标的检测精度。通过设计双流网络架构,分别处理RGB和噪声图像的特征,进一步增强了检测的准确性。实验结果表明,在多个公开数据集上的实验中,所提出的方法在检测精度和鲁棒性上效果显著,特别是在处理具有复杂背景和高相似度的伪装目标时,性能得到了显著提升。 (2)伪装目标的尺度和背景复杂程度通常变化较大,固定缩放比例的传统方法往往无法应对这种变化。为此,本文提出了一种基于动态自适应缩放策略的伪装目标检测算法。该方法通过动态调整输入图像的缩放比例,使得网络能够根据目标的大小和背景的复杂度自适应选择最优的缩放比例,提升伪装目标的检测精度。通过设计动态自适应缩放模块、多视角特征融合模块和多尺度特征融合模块,有效提高了模型在伪装目标检测任务中的鲁棒性。实验结果显示,所提算法在多个数据集上的检测精度显著提高,模型展现了更强的适应性。 综上所述,本文针对伪装目标检测中的关键问题,提出了基于RGB-噪声特征融合和动态自适应缩放策略的检测算法。通过改进特征提取、聚合策略以及网络结构,本文的方法在多个标准数据集上取得了优异的性能,证明了其在伪装目标检测中的有效性和广泛应用前景。 图[19]表[14]参[57]

关键词： 动态环境   视觉SLAM   目标检测   特征剔除   稠密建图  

摘要： 针对同步定位与建图（Simultaneous Localization and Mapping,SLAM）算法在动态场景中存在的定位精度低且无法生成有效地图的问题，提出一种基于动态特征剔除与稠密建图的视觉SLAM算法。在ORB-SLAM3算法基础上新增特征点筛选线程，使用轻量化的YOLOV8网络检测环境中的动态物体，并结合光流法和对极几何约束剔除环境中的动态特征点。在新加入的稠密建图线程中利用生成的关键帧及计算出的位姿构建稠密点云地图。在公开的TUM数据集进行验证，相比于原ORB-SLAM3，各项定位误差下降达90%，同时在稠密建图结果中去除了动态物体所造成的重影。新算法通过加入的特征点筛选线程和稠密建图线程，有效地解决了视觉SLAM算法在动态环境中无法正常定位和建立有效地图的问题，极大增强了SLAM系统在动态场景中的精准度和鲁棒性。