关键词： 深度学习   目标检测   量子注意力机制   迁移学习   模型部署  

摘要： 复杂场景下的目标检测作为计算机视觉领域的关键技术,致力于在具有挑战性的环境中实现物体的准确定位和识别。该技术在实际应用过程中面临着诸多困难,包括目标模糊、严重遮挡以及极端光照变化等因素,这些复杂条件往往导致传统检测算法出现特征表征能力不足、多源信息融合不充分等性能瓶颈。为解决这些问题,本文创新性地提出了两种针对复杂环境的目标检测模型,重点提升系统在恶劣条件下的实时检测能力。论文研究工作主要围绕以下四个关键方面展开: (1)本文提出了一种基于量子力学的注意力机制范式,通过模拟微观粒子系统的波函数特性,创新性地设计了QCA-Net和QEA-Net两种量子注意力网络。该机制将传统特征向量映射到高维概率空间,显著提升了模型对目标关键特征的提取能力。 (2)本文通过在Image Net-1K数据集上预训练、Cifar-10等分类数据集和MS-COCO目标检测数据集上进行迁移学习微调,证明了QCA-Net在不同任务场景下的优异性能和良好的泛化能力。基于此,本文构建了Quantum-Enhanced RT-DETR模型,该模型将提取的目标区域特征作为上下文信息与图像全局语义特征进行融合,通过量子注意力机制实现特征校准,获得了更高层次的特征表示。这种设计增强了不同层级特征间的关联性,显著提升了目标检测模型在特征提取方面的不足。 (3)针对多模态数据融合不完善的挑战,本文提出了融合QEA模块的双语义增强通道权重分配模块(DEQCA)、双空间增强像素权重分配模块(DEQSA),除此之外为了能够学习更多红外和可见光混合特征,本文还设计了融合洗牌模块(Fusion Shuffle),并以此为基础设计出了Quantum-Enhanced YOLO11模型。该模型能有效降低模态间特征干扰,对多模态特征进行融合,显著提升复杂场景下的目标检测性能。 (4)最终本文构建了一个专用的红外-可见光多模态目标检测数据集,并基于此开发了一套完整的目标检测系统。该系统深度融合了经过特定优化的检测算法,不仅实现了高效的实时目标检测性能,还配备了直观易用的人机交互界面,为复杂场景下的目标检测任务提供了完整的解决方案。

关键词： 目标检测   目标追踪   Lowlight-YOLOv8n   低光照   轨道异物  

摘要： 随着城市轨道交通快速发展,轨道运行安全成为保障列车正常运行的关键因素,特别是在夜间光照不均匀的情况下,更容易引发交通事故,及时检测并清理轨道障碍物可有效防范风险,现有方法在夜间受限于数据不足和低光适应差,常出现检测不准、目标丢失等问题。针对以上问题,本文提出了一种结合图像增强的低光照轨道异物检测算法Low Light-YOLOv8n的改进Deep SORT跟踪算法。主要研究工作如下: 1.由于夜间真实轨道障碍物数据稀缺,本文构建了多场景夜间轨道障碍物数据集Dark Rail,数据集在天津铁路胡家园等不同车辆段采集,包含不同亮度、轨道场景的图片,图像分辨率为1280×720。数据类别包括人、工具包、箱子、动物,数据集共6093张图片,采用Label Img工具进行数据标注,并按照7:2:1的比例划分为训练集、验证集、测试集。 2.针对夜间光照不足导致检测困难的问题,本文设计了夜间轨道障碍物检测网络Low Light-YOLOv8n。该网络在YOLOv8n基础上进行改进,首先,在Backbone中引入低光照图像增强模块Retinexformer,提升图像亮度与对比度,改善输入图像质量;其次,在Neck中引入基于大卷积核的C2f＿Uni Rep LKNet Block结构,以更少的卷积操作覆盖更大感受野,既增强了全局上下文建模能力,又降低了计算开销;将Backbone和Neck中的普通卷积替换为RFCAConv卷积,通过残差学习机制有效补偿低光照条件下的图像细节损失;最后,引入了Focaler-CIo U动态调整权重的边界框回归损失函数,提升定位精度。实验结果表明,相较于基线网络改进后Low Light-YOLOv8n网络在公开数据集Ex Dark上的m AP@0.5提高了6.8%,m AP@0.5:0.95提高了5.8%,在自建数据集Dark Rail上m AP@0.5提高了6.2%,准确率达到96.7%,检测速度FPS达62.7。 3.针对跟踪效果中轨迹断裂、误检漏检的问题,本文设计了基于Low Light-YOLOv8n的改进Deep SORT目标跟踪算法。将上一章节的夜间轨道障碍物检测网络Low Light-YOLOv8n作为Deep SORT算法的检测器,其在低光照条件下的检测性能,为后续数据关联提供更准确的检测输入;然后,提出基于GIo U的改进匹配策略,通过引入最小外接矩形惩罚项,解决传统Io U在非重叠区域的匹配失效问题。实验结果表明,相比于Deep SORT算法基于Low Light-YOLOv8n的改进Deep SORT算法,ID切换次数减少了62,MOTP指标由78.3%提升至83.7%,MOTA由88.3%提升至92.9%,最后设计了轨道目标检测与跟踪的Web端检测界面,便于可视化展示及实际应用。

关键词： 交通运输规划与管理   高速公路   目标检测   深度学习  

摘要： 针对高速公路路侧摄像头拍摄的图像中，远端的行人和车辆目标小、实时检测难问题，提出一种改进的目标检测算法YOLOv5s-3S-4PDH。首先，采用Shufflenetv2-Stem-SPPF网络结构，提高模型的运行速度；其次，引入加速归一化加权融合特征图和160×160小目标检测层，优化小目标检测性能；然后，引入改进的解耦头机制，提高小目标检测的定位和分类精度；最后，采用Focal EIoU作为定位损失函数，加快模型训练的收敛速度。在自建行人和车辆数据集上进行对比实验，结果表明：该算法与YOLOv5s基准网络算法相比，计算量和参数量分别减少了10.1%和24.6%，检测速度和精度分别提高了15.4%和2.1%；在VisDrone2019数据集上进行的迁移学习实验表明，该算法对所有目标类别的平均精度高于YOLOv5s。YOLOv5s-3S-4PDH算法在满足小目标检测实时性与精度的同时，也具备泛化能力。

关键词： 深度学习   目标检测   多模态图像融合   YOLOv8   跨域检测  

摘要： 随着深度学习技术的飞速发展,其在图像识别、自然语言处理等诸多领域取得了显著成果,并广泛应用于智能监控、自动驾驶等实际场景。在计算机视觉领域,目标检测技术至关重要,尤其在无人机应用中展现出巨大潜力,但也面临着复杂场景、小目标检测、域转移等诸多挑战。多模态图像融合技术与跨域目标检测技术成为解决这些问题的关键研究方向,吸引了众多学者的关注,相关研究不断涌现且取得了一定进展,但仍存在提升空间。在此背景下,本研究围绕基于可见光和红外图像融合的目标检测技术优化展开,致力于解决无人机在复杂环境下目标检测的难题,具体研究及贡献如下: (1)针对无人机作业时光照变化影响图像融合效果的问题,提出自适应光照感知融合机制。通过改进的光照感知权重融合模块(LPWF)动态调整红外与可见光信息融合比例,结合空间注意力机制和深度可分离卷积,提升特征提取效果与计算效率。经多个公开数据集实验验证,该算法在融合图像质量上表现优异,为后续目标检测提供高质量输入。 (2)基于YOLOv8提出DCS-YOLOv8模型,引入多尺度跨域协同感知(DCS)模块与动态域适配分支。通过多尺度空洞卷积捕获跨模态特征,结合通道注意力动态融合,实现复杂场景下目标检测精度与鲁棒性的双重突破,计算效率较高,满足无人机实时检测需求。 (3)设计并实现一套端到端多模态图像融合目标检测系统。实现低延迟数据传输与高效处理;算法上提出模型轻量化和异构计算资源调度策略,压缩模型体积、降低处理延迟;软件基于PyQt5构建PC端测试系统,集成模型管理、多模态数据处理、算法运行管理与资源监控四大核心模块。系统具备高实时性与强鲁棒性,有效提升无人机视觉系统性能。

关键词： 3D目标检测   多尺度特征   自适应非极大值抑制  

摘要： 3D目标检测是自动驾驶感知系统的关键技术之一,能准确检测驾驶环境的状态从而保证行车安全。针对自动驾驶场景中行人和骑行者等小目标的3D检测精度较低的问题,提出一种基于多尺度特征和自适应非极大值抑制的3D目标检测算法。首先,设计多尺度特征提取器,以获取大、中、小尺度的特征。其次,设计多尺度检测头以生成不同尺寸目标的候选框,从而补充小目标候选框。为了平衡多尺度候选框的数量,设计一种基于ANMS的候选框筛选算法,提高了对不同尺寸目标的检测精度。在KITTI数据集上的结果表明,改进算法在确保汽车类目标检测精度的同时,对行人和骑行者的检测精度达到62.57%和73.30%,比基线算法高2.04%和1.33%,验证了改进算法在小目标检测方面具有较好的3D检测性能。

关键词： YOLOv8   Swin Transformer   目标检测   图像分割   结构裂缝  

摘要： 结构裂缝是引发路面、桥梁、建筑等工程设施安全隐患或安全事故的主要因素之一。其中,路面裂缝和墙体裂缝是两类典型的结构裂缝。路面裂缝对道路的安全性、排水功能和耐久性有着直接影响,及时、准确地检测路面裂缝是保障道路安全、延长路面使用寿命的关键环节,目前目标检测模型在路面裂缝检测中存在细小裂缝检测精度低的问题。墙体裂缝会影响建筑结构完整性并降低其抗震性能,对裂缝进行安全性监测可预防墙体结构失效、降低安全风险,现有的图像分割技术面对多样化裂缝时难以自适应获取有效的图像特征。因此,本文对路面裂缝检测和墙体裂缝分割两个方面展开研究。主要研究内容如下: 针对路面裂缝检测问题,本研究基于YOLOv8算法,结合改进的Swin Transformer模块及EMA注意力机制模块,提出了一种SE-YOLOv8路面裂缝检测模型,实现了对不同尺度、低对比度路面裂缝的高精度检测。首先,为了适应复杂环境下的裂缝检测任务,本文引入随机化参数的仿射变换操作,模拟不同环境下可能出现的裂缝变化,有效扩展了数据集的多样性。然后,在原始Swin Transformer模块中设置可学习的残差缩放因子,使得网络能够自适应地选择不同裂缝特征的处理方式来更加精准地捕捉裂缝的细节,从而提高整体的检测精度和泛化能力。最后,使用EMA注意力机制替换掉原始YOLOv8中的C2f模块,使模型在不同层次上动态聚焦于最相关的裂缝特征,增强其对环境噪声的鲁棒性。实验结果显示,本文提出的SE-YOLOv8模型在路面数据集上表现出更高的检测精度,与Faster R-CNN、YOLOv5、YOLOv8s和YOLOv10模型相比,SE-YOLOv8的m AP@0.5分别提升了36.8%、5.6%、3.9%和9%。这些结果验证了本文提出的SE-YOLOv8模型在路面裂缝检测中的优势,具有较强的实际应用潜力。 针对墙体裂缝分割问题,本研究提出了一种基于双模态图像融合与亮度分段线性增强的裂缝分割算法,实现了在不同光照条件下对墙体裂缝的准确分割,并进一步实现了裂缝的参数提取与监控。首先,该算法利用可见光图像和红外图像的互补特性进行双模态图像融合,提高了裂缝的细节特征。同时,构建了一种亮度分段线性函数,可以针对不同背景亮度的结构裂缝自动选择合适的参数进行图像增强。然后,利用底帽变换和Otsu算法完成了裂缝区域的有效分割。最后,通过获取的裂缝参数确定安全等级,实现对裂缝发育过程的有效监测与评估。实验结果表明,本文提出的图像分割算法对裂缝图像的分割结果优于其它分割算法。并且,该算法在处理速度和鲁棒性方面表现出色,能够满足实际工程的应用需求。

关键词： Mamba   目标跟踪   视觉-语言   多模态关联   语义偏差  

摘要： 近年来,目标跟踪在智能化现代生活扮演的角色越来越重要,它旨在利用给定的初始参考信息精准地识别和定位后续帧中任意目标对象。一些跟踪器联合使用多个模态的初始参考信息,以提升跟踪器在复杂场景下的鲁棒性。根据给定的初始参考信息来源的不同,这些方法可以分为视觉-语言、视觉-热红外、视觉-深度等跟踪任务。这些任务通过充分利用视觉与其他模态的互补优势,使目标跟踪任务更加灵活和智能。凭借其广泛的应用潜力,目标跟踪技术在自动驾驶、视频跟踪等多人工智能领域展现出显著的实用价值。然而,尽管现有多模态目标跟踪任务已有长足发展,其在真实环境中的适应性仍然面临诸多的挑战。 一个鲁棒的目标跟踪算法应当具备充分利用视频中丰富的上下文信息的能力。然而,现有的跟踪器通常使用Transformer来完成上下文信息的建模,受限于其的高计算复杂度和资源占用,使得它们构建的上下文信息长度不足。另一方面,在视觉-语言跟踪的研究中,主流的算法往往只依靠初始语言注释和模板帧来完成整个序列的跟踪。这种方法忽略了随着时间的推移多模态参考信息与被跟踪的目标之间存在的语义偏差,进而无法有效的构建多模态上下文信息。 针对上述目标跟踪任务存在的难点,本文在视觉目标跟踪任务和视觉-语言多模态目标跟踪任务上进行了深入研究,并提出两个新的研究方案。主要研究内容如下: （1）本文提出了一种基于长时上下文信息建模的目标跟踪算法,能够构建并利用从初始帧到当前帧的目标变化线索,实现更加鲁棒的跟踪效果。本文设计了一种全新的单向上下文Mamba模块,沿时间维度扫描帧特征,逐步收集整个序列中的目标变化线索。具体而言,算法通过选择性扫描机制,将历史帧特征中的目标相关信息压缩到一个隐空间状态中,从而在整个视频序列中持续聚合目标变化线索。随后,这些线索被注入注意力机制中,为模板与搜索特征之间的关系建模提供了丰富的时间信息支持。该算法的核心优势在于能够动态扩展上下文长度,完整捕捉目标变化线索,从而显著提升跟踪器的稳定性与鲁棒性。实验结果表明,该算法达到实时的运行速度,并在包括UAV123,TNL2K,La SOText,La SOT,Tracking Net和GOT-10k在内的主流数据集上达到了先进的性能。 （2）本文提出了一种基于多模态参考动态更新的视觉-语言目标跟踪算法。该算法通过动态更新多模态参考从而保持参考信息与跟踪目标的语义一致性,实现鲁棒的跟踪。本文引入了一个动态语言更新模块,利用大型语言模型根据视觉特征和目标类别信息生成目标的动态语言描述。随后,本文设计了一个动态模板捕获模块,用于捕获图像中与动态语言描述高度匹配的区域。此外,为了确保描述生成的效率,本文设计了一种更新策略,通过评估目标位移、尺度变化等因素决定是否进行更新。最后,记录目标最新状态的动态模板和语言描述被用于更新多模态参考,从而为后续推理提供更准确的参考信息,并增强跟踪器的鲁棒性。该算法在多个视觉-语言跟踪数据集上达到了先进的性能,包括La SOText,TNL2K,La SOT,OTB-Lang,MGIT。 综上所述,目标跟踪技术在多模态融合与动态建模方面的突破,为复杂场景下的鲁棒跟踪提供了新的解决方案。本文提出的长时上下文Mamba模块和动态多模态参考更新机制,不仅有效缓解了传统方法的计算效率与语义偏差问题,更通过实验验证了其在主流数据集上的优越性能。未来研究可进一步探索轻量化部署方案与跨模态通用框架,以推动该技术在实际工业场景中的规模化应用。随着人工智能与边缘计算的深度结合,目标跟踪技术有望在智能交通、人机交互等领域释放更大价值。

关键词： 光流   卷积神经网络   视觉里程计   硬件加速   计算机视觉  

摘要： 光流是视频中连续帧的像素级运动矢量,可提供丰富的场景运动信息。作为视觉里程计的核心概念之一,光流估计的实时性与精度对位姿估计有着重要影响。目前,与传统方法相比,基于神经网络的光流算法有更高的精度及鲁棒性,然而光流估计是一项高计算复杂度的任务,这不利于其在边缘设备的实时应用,因此本课题将从算法和硬件两方面开展光流网络推理加速研究。 针对目前光流网络参数量、计算量庞大的问题,本文设计了轻量化的光流网络。该网络首先使用特征金字塔结构,构建从低维到高维的多尺度特征。本文还设计了高效的光流解码器,逐步恢复高分辨率光流场。此外,本文改进了代价相关算子,在像素点圆形邻域内显式提取运动特征。改进后的光流网络参数量为0.69 M,基于436×1024分辨率图像的计算量为14.85 GFLOPs,基于Sintel数据集的平均端点误差为4.52 px。与同类轻量化光流网络相比,本算法在显著减少参数量与计算量的同时仍保持了相当的的精度水平。 为实现光流估计算法在边缘计算场景的部署,本文设计了一种光流网络硬件加速器。为支持光流计算所需的卷积、池化、特征图扭曲和代价相关算子,该加速器采用粗粒度指令集。本文设计了可复用的卷积计算单元,可兼容普通卷积、点卷积和逐深度卷积运算。此外,本文为池化、特征图扭曲和代价相关在内的算子设计了加速电路。在存储方面,本文设计了基于分块地址映射机制的高带宽缓存模块,有效解决了不规则数据访问的带宽瓶颈问题,并支持可变地址映射,可根据算子类型调整存储策略,以支持不同数据缓冲需求。 最后,本文对加速器进行了仿真验证,并基于Xilinx ZCU104平台搭建系统并进行功能测试。在200 MHz工作频率下,该加速器的功率为2.007 W,对640×480分辨率图像的处理时间为36.68 ms,帧率为27.26 FPS,与NVIDIA RTX 4060 GPU相比,可降低73.1%的推理时间开销与84.8%的功耗。

关键词： 多波束水柱图像   目标检测   特征提取   气泡羽状流  

摘要： 多波束声呐技术作为海洋探测的重要方法,对水下目标包括气泡羽状流、沉船、鱼雷、水雷、飞机残骸、鱼群的探测具有重要意义,而气泡羽状流的探测对寻找海洋资源天然气水合物具有重要作用。传统的多波束水柱图像目标探测主要依靠人工进行,探测的精度主要取决于判读人员的经验,效率低且耗时长。针对上述问题,本文根据多波束水柱图像的特点对单个特征+分类器和深度学习目标检测方法进行改进,通过提出组合特征+分类器和引入注意力机制的深度学习目标检测方法,实现多波束水柱图像气泡羽状流目标检测。本文开展以下研究: (1)研究了图像特征提取,分析了单个特征对图像进行特征提取的优缺点。之后分析含有气泡羽状流目标的多波束水柱图像的特点,提出了基于Tamura+局部二进制模式的组合特征方法。实验结果证明,相较于单个特征+分类器和其他组合特征+分类器,基于Tamura+局部二进制模式的组合特征+分类器的在测试集上的表现效果更好。准确率达到98.45%,召回率达到91.79%。最后通过滑动窗口和非极大抑制成功在EM710多波束实测数据中的一条测线的1444个Ping实现检测,准确率为86.07%和召回率为92.18%。 (2)研究了经典的深度学习目标检测网络模型。以最新的Yolov8模型为基础模型,引入注意力机制模块对网络模型进行改进。通过在模型的Backbone网络和Neck网络加入多个注意力机制模块进行改进,提取更多图像的细节特征信息。实验结果证明,改进后的模型相较于原模型和其他经典模型在测试集上表现更好,m AP0.5:0.95达到了66.7%,fps达到了33.8。最后成功实现在EM710多波束实测数据中的一条测线的1444个Ping实现检测,准确率为93.95%和召回率为92.31%。相较于基于Tamura+局部二进制模式和支持向量机分类器,基于改进Yolov8模型的准确率和召回率都更高,并且对于在多波束水柱图像气泡羽状流的框选上更贴合目标。 图[27]表[14]参[67]