关键词： 深度学习   目标检测   轨迹预测   热带气旋   多模态  

摘要： 热带气旋每年都会给我国造成严重的经济损失和人员伤亡,本论文专注于灾害防控体系的关键环节——热带气旋的检测与轨迹预测,通过改进模块优化模型性能,构建起有效的气旋检测和预测模型,从而为应急管理部门提供更精准的灾害预警决策支持。 目前基于深度学习的热带气旋检测研究中,普遍使用的是经过裁剪的卫星图像数据集,这就使得模型难以直接利用卫星输出的原始图像进行检测,导致它们难以投入实际使用。为了解决这一问题,论文构建了一个全新的基于卫星图像的目标检测数据集。与其他数据集的不同之处在于,该数据集未经裁剪,直接由卫星输出。模型训练完成后,该模型能够直接利用卫星图像进行即时、快速的热带气旋检测,极大地提高了实际应用的可行性。 构建好数据集之后,鉴于数据集的特点,使用DETR检测模型作为基础模型。针对其小目标检测效果不佳以及图像中热带气旋尺度差异大的问题,提出了WDBB(Wide Diverse Branch Block,WDBB)和PACAPN(Parallel Atrous Convolution Attention Pyramid Network,PACAPN)改进模块,最终构建起WP-DETR气旋检测模型,实验表明该数据集下Precision为0.896,Recall为0.891,与其他对比模型相比,该模型有着更强的从复杂背景中检测出气旋的能力。 近年来,基于深度学习的热带气旋轨迹预测相关研究迅速发展。本论文利用深度学习技术构建了两种模型来预测热带气旋轨迹。 (1)针对历史轨迹数据中不同时间步对未来路径影响异质性强、信息衰减严重的问题,提出引入时间注意力机制的Seq2seq(TA-Seq2seq)模型,其中编解码器使用ConvLSTM,模型能够自适应分配不同历史时刻的信息权重,显著提升模型对复杂时序依赖的捕捉能力,在6h、12h、24h多时效预测中均取得优异表现。 (2)由于卫星图像中的云带形态、中心密集程度及外围云系的分布情况等可以反应气旋的演变趋势,因此论文想借助卫星图像所包含的丰富内容为热带气旋轨迹预测补充更多信息。当前基于多模态的气旋轨迹预测模型存在多模态信息利用不充分的问题,基于这一考虑,论文尝试构建了双分支的多模态预测模型,设计特征交互融合模块对两条分支提取到的特征进行融合,进而构建起一个基于ConvLSTM-3DCNN的多模态预测模型FABTFN,它在6h,12h预测中取得了更好的效果。

关键词： 雾天场景   目标检测   域自适应   注意力机制   车辆行人检测系统  

摘要： 随着深度学习技术在无人驾驶、智慧道路交通管理系统等领域的不断普及与应用,恶劣天气下的目标检测技术日渐成为近年来学者们的研究热点。雾天环境下,摄像头拍摄到的图像会出现对比度下降、颜色失真和细节丢失等现象,影响现有方法的检测精度。基于此背景,本文以雾天车辆行人目标作为研究对象,结合域自适应技术与目标检测技术,提出一种雾天车辆行人检测算法,并设计相应的检测系统。具体工作内容如下: (1)针对现有目标检测算法小目标检测能力弱等问题,本文基于YOLOv8模型结构,提出一种跨空间多尺度特征融合目标检测算法(Cross Spatial Multi Scale feature fusion YOLO,CSMS-YOLO)。其利用重参数化卷积模块替换原主干提取网络中的普通卷积模块,引入自适应权重融合机制且额外添加一个小目标检测头,同时在P2检测层加入跨空间高效注意力机制。最后通过与主流目标检测算法对比,验证本文算法的有效性与先进性。 (2)针对CSMS-YOLO在雾天环境检测精度下降的问题,提出一种基于图像超分辨率域自适应的目标检测算法(Image Super Resolution Domain Adaptation YOLO,ISRDA-YOLO)。其利用CUT方法,以源域图像为基础,目标域图像风格为参考,生成类目标域图像,辅助域自适应训练过程;结合图像超分辨率域分类器对齐源域与目标域特征,使CSMS-YOLO的检测场景由清晰天气泛化至雾天环境。实验结果表明,本文方法有助于提升模型在雾天环境的车辆行人检测能力。 (3)基于ISRDA-YOLO检测模型,利用Py Qt5设计一种雾天车辆行人检测系统。其主要功能包括注册登录、图像与摄像头检测和结果保存等。最后通过测试,验证了系统各个功能的有效性。

关键词： 深度学习   目标检测   探地雷达   关键点检测   YOLOv8网络  

摘要： 地下管线是城市基础设施的关键组成部分,承载着供电、供水、供气等重要功能。然而,随着城市化进程的推进,地下管线数量和复杂度急剧增加,给日常管理和维护带来了巨大挑战。探地雷达(Ground Penetrating Radar,GPR)作为一种重要的地下探测工具,广泛应用于地下管线探测。由于地下管线在GPR二维图像中的回波信号常呈双曲线特征,因此,智能检测双曲线回波并定位管线成为该领域的重要研究课题。但现有的回波信号检测方法效率较低,且准确率不够理想,易出现漏检误检等问题;同时,现有的管线定位方法又存在误差较大、流程复杂或依赖人工选择阈值等局限性。 针对上述问题,本文开展了对探地雷达B扫描(B-scan)图像中管线回波的智能检测与管线定位的研究。本文提出了回波检测模型YOLOv8-ELW和回波关键点检测模型YOLOv8-pose-ELWSD,并基于该关键点检测模型实现了管线的水平位置与深度的精准定位。最后,设计并实现了管线智能检测与定位软件。主要工作如下: (1)为解决地下管线实测B-scan图像数据量不足的问题,通过分析B-scan回波特征,建立了地下多管线分布的正演模型,并使用Gpr Max进行批量随机仿真。仿真数据采用各向异性不均匀土壤模型,并加入随机噪声,以模拟真实探测场景。为了有效突出目标回波信号,本文采用了一系列预处理方法:首先,使用平均抵消法抑制直达波;接着,使用小波阈值去噪方法对数据集进行去噪处理;最后,利用自动增益控制来增强目标回波信号强度。经上述处理后构建的B-scan数据集能够有效支持后续研究的需求。 (2)由于传统目标检测模型未针对B-scan图像特征进行专门设计,因此检测准确率较低。针对管线回波信号的边缘特性和物理特征,本文提出了基于YOLOv8n网络改进的回波智能检测模型YOLOv8-ELW。首先,设计并引入了边缘特征结合模块(The Edge Feature Integration Module,EFIM)模块,用于提取回波双曲线的边缘特征和强度特征,从而提高C2f模块的提取能力;在SPPF模块中引入大核分离注意力模块(Large Separable Kernel Attention,LSKA),用于扩展感受野并捕捉长距离依赖,增强模型对关键区域的感知。另外,采用v3版本Wise-Io U损失函数作为边界框损失函数,弥补低质量样本的影响。实验结果表明,在自建数据集上,本文提出的模型在m AP@0.5与m AP@0.5:0.95指标上分别达到了93.2%与45.4%,相较于YOLOv8模型分别提升了3.0%和1.9%,能够满足实际检测中对准确性的要求,并为后续的管线定位任务奠定了基础。 (3)为实现埋藏管线的精确定位,本文基于YOLOv8n-pose模型,提出了端到端的管线回波信号关键点检测模型YOLOv8-pose-ELWSD,并基于该模型获取了各管线的水平位置及埋深信息。首先,复用YOLOv8-ELW模型的改进点,以增强模型骨干网络的特征提取能力。随后,设计并引入共享卷积关键点检测头(Shared Convolutional Keypoint Detection Head,SCKD Head),在保证关键点检测精度的同时,实现了模型的轻量化,使得模型在资源受限的设备中仍能高效运行。接着,为了弥补共享卷积可能带来的检测精度损失并提高关键点分支的检测能力,在SCKD Head中引入多元分支模块(Diverse Branch Block,DBB)。最终,通过坐标映射实现管线的定位。实验结果表明:相较于YOLOv8-pose模型,YOLOv8-pose-ELWSD在参数量上降低15.9%,计算量上降低19.3%,目标检测部分的m AP@0.5与m AP@0.5:0.95分别达到93.8%与45.9%,而关键点检测部分这两项指标分别为93.4%与60.5%。在轻量化的基础上,模型的检测和定位精度均得到了提升。基于该模型的管线定位方法,在水平方向与竖直方向的相对误差均值分别为5.8%与7.3%,能够满足管线定位的要求。 (4)本文基于MVC模式的设计思想,将数据预处理、目标检测模型、关键点检测模型和定位算法有效结合,设计并实现了地下管线智能检测与定位软件,实现了GPR图像的预处理、回波信号检测、管线定位等多个功能,为用户提供了一个高精度、可视化的地下管线探测工具,有效提升了管线探测效率。

关键词： 深度学习   智能视觉分析   高速公路   语义分割   目标检测  

摘要： 随着物联网的飞速发展与高速公路基础设施建设的不断完善,视频监控设施已构成庞大的监测网络。然而,面对日益增长的海量监控数据,传统交通安防系统在智能视觉分析能力上的不足日益凸显。近年来,基于深度学习的语义分割、目标检测等计算机视觉技术取得了显著进展。这些技术与交通监控系统深度融合后,不仅有效解决了传统视觉分析系统在准确性和泛化能力上的不足,而且显著降低了人工成本。然而,在车辆流动性强、环境复杂多变的高速公路场景中,深度学习技术仍面临诸多挑战,如复杂干扰、高实时性需求、小目标检测难度大等。因此,本文旨在基于深度学习技术构建一套高效、准确的高速公路智能视觉分析系统,实现对行人闯入、抛洒物等风险事件的快速感知与智能分析。本文的主要贡献如下: (1)为满足高速公路道路区域提取的实时性、准确性和轻量性需求,提出一种基于高效PID(Proportion Integration Differentiation)架构的实时语义分割算法PSNet。首先,设计了基于空间注意力机制和轻量辅助语义分支的高效PID架构;其次,引入快速聚合金字塔池化模块,用于快速聚合多尺度语义信息;最后,采用多损失深监督训练策略优化训练效果。实验表明,与基线模型相比,PSNet以较小的时延代价实现了6%的精度提升,并在Cityscapes、Cam Vid、KITTI及私有高速公路数据集上取得了准确性和速度的平衡。其中,在Cityscapes测试集上,模型以120.9帧/秒的速度达到了78.5%的精度。 (2)针对高速公路场景下目标检测不准确的问题,提出一种面向高速公路场景的多类别目标检测方法。首先,采用运动模糊增强和小样本扩充策略优化现有数据。之后使用YOLOv8模型进行行人、抛洒物、摩托车的检测,并提出统一过滤模块排除各个类别的误报以及不宜上报的结果。最后,引入切片推理技术,优化模型对远距离小目标的检测能力。经过实验验证,所述方法在高速公路场景下准确率达到93.25%。 (3)基于上述关键技术搭建了高速公路智能视觉分析系统。首先,建立了高速公路场景的道路分割RS数据集和多类别目标检测数据集。之后设计了视频帧图像聚合模块,以实现对多路视频流的高效处理。然后基于道路区域提取实现了道路区域筛选机制,以排除高速公路道路区域外的目标,实现行人闯入、抛洒物、摩托车闯入的感知能力,同时利用道路区域提取技术实现实时道路场景解析,辅助工作人员监控路况。最后,实现了高速公路智能视觉分析平台,为高速公路的安全管理提供了智能、高效的技术支持。

关键词： 注意力机制   时空融合   热红外目标跟踪   多模态目标跟踪  

摘要： 目标跟踪作为智能感知领域中的核心技术,在智能安防、体育赛事分析、无人系统等多个领域中发挥了重要作用。随着军民需求的日益增长,目标跟踪的研究价值也愈发显著。然而,现有的目标跟踪方法在面临遮挡、背景杂波以及目标形变等挑战时会出现漂移甚至直接失效,这主要由于现有的目标跟踪方法提取判别性特征困难、跨模态互补信息融合不足、时序信息利用不充分以及难以平衡精度和效率。针对上述挑战,本文以注意力机制和时空联合建模为基础,研究了热红外目标跟踪方法和可见光-热红外的联合跟踪方法,主要内容如下: (1)提出一种基于坐标序列生成的热红外跟踪方法。该方法在统一特征提取与融合过程的基础上,提出多层次渐进式的融合模块用以增强语义信息和多尺度特征。利用结合坐标序列特征的因果Transformer解码器生成目标序列,设计动态模板更新策略应对目标外观变化,引入自适应损失函数提高跟踪性能。实验结果表明,该方法在VOT-TIR2015、PTB-TIR和LSOTB-TIR数据集上的准确率分别为0.780、0.866和0.853。 (2)提出一种基于热红外引导提示的高效RGBT跟踪方法。该方法引入坐标信息进行隐式建模,省略解码器、传统分类头和回归头。此外,提出热红外引导提示的融合模块,将特定于热红外模态的信息传递至可见光模态,实现自适应的提示融合。利用通道注意力模块抑制冗余的通道特征,并且利用得分预测分支克服目标外观的变化。实验结果表明,该方法在RGBT234和Las He R数据集上的精确率分别为0.892和0.715。同时,该方法的运行速度为65FPS,实现了精度与效率平衡。 (3)提出一种基于多重注意力机制的自适应RGBT跟踪。该方法利用自适应全局融合模块挖掘跨模态的全局信息并适应不同大小目标。其次,通过双通道特征注意力融合模块精细调整多模态特征,通过渐进式交互注意力模块实现跨模态时空融合。实验结果表明,该方法在RGBT234和Las He R数据集上的精确率分别为0.896和0.726。

关键词： 显著性目标检测   计算机视觉   边缘检测   深度学习  

摘要： 为了高效利用深度特征信息辅助显著性检测，实现对不同尺度特征信息的融合，本文提出了一种基于CDINet算法改进的RGB-D图像显著性目标检测算法。首先，添加了多尺度特征融合模块用来加强编码器和解码器之间特征信息的传输，有效减少浅层特征丢失，通过辅助解码器的跳跃连接获得更多的显著物体的特征信息。接着，在CDINet的网络结构尾部连接了一个循环注意力模块，通过使用面向记忆的场景理解功能，逐渐优化局部细节。最后，对损失函数进行调整，使用一致性增强损失（CEL）处理因为不同尺度特征融合产生的空间一致性等问题，并在不增加参数的情况下均匀突出显著区域。实验结果表明，改进后的模型与原CDINet算法模型相比，在LFSD数据集上的F-measure提高了0.6%,MAE下降了0.4%；在STERE数据集上的F-measure提高了0.4%,S-measure提升了0.5%。相对于其他算法模型，本模型基本满足检测性能更好、适应性更高等要求。

关键词： 道路地下目标   探地雷达   YOLOv8  

摘要： 为减少道路塌陷事故发生,需要对道路地下病害和基础设施等隐蔽目标定期探测,探地雷达(Ground Penetrating Radar,GPR)凭借其无损、分辨率高和探测效率高等特点已广泛应用于道路地下目标探测。目前探地雷达图像以人工识别为主,存在识图时间长、效率低,不同识图人员标准不一,易发生错判和漏判等问题,而随着计算机视觉和深度学习的发展,目标检测算法成为了快速识别探地雷达图像的新方法。本研究结合探地雷达和目标检测算法开展道路地下目标检测研究,获得的主要研究成果如下: (1)通过探地雷达正演模拟软件gpr Max对包含管线、脱空和疏松三种目标的道路结构模型进行正演模拟,获得不同模型的沿不同测线方向的剖面和三维剖面,通过对比沿最旁侧测线方向剖面和沿中间测线方向剖面,可知探测位置对探地雷达图像的影响;通过对比不同条件下的沿中间测线方向剖面和三维剖面,可知不同条件下的探地雷达图像特点。总结出的各种目标探地雷达图像特点为后续道路地下目标检测研究中的图像标记提供参考。 (2)采用LTD-2600型二维探地雷达现场探测获得管线、脱空、疏松和井室的探地雷达实测图像,筛选后通过水平翻转、压缩至0.8倍、拉伸至1.25倍、顺时针旋转5度和逆时针旋转5度这五种几何变换方式对探地雷达图像进行数据增广,裁剪所有图像后使用目标检测标注工具Label Img进行标记,共形成含有3738张探地雷达图像的目标检测数据集。通过搜集期刊和论文中的四种目标的探地雷达图像组成含有80张图像的测试集,用于检测模型对其他地区探地雷达图像的识别效果。 (3)采用“你只看一次版本8”(You Only Look Once version 8,YOLOv8)对道路地下目标进行检测,并从添加注意力模块和替换损失函数两个方面对模型进行改进。YOLOv8的检测结果表明,在本文使用的数据集上,YOLOv8n的检测精度和速度相对最优。改进YOLOv8n的检测结果表明,只有在骨干网络输出处添加简单无参数模块(A Simple,Parameter-Free Attention Module,SimAM)的模型(YOLOv8n-SimAM-B)的检测精度和速度才均有提升。YOLOv8n-SimAM-B在由期刊和论文中的探地雷达图像组成的测试集上的检测结果表明,YOLOv8n-SimAM-B的检测精度和速度相比于在原测试集上的检测精度和速度均有所下降。相比于YOLOv8n,YOLOv8n-SimAM-B对道路地下目标的检测精度和速度相对更高,能为道路地下目标检测提供更好的技术支撑。此外,在YOLOv8n-SimAM-B和PyQt的基础上,创建了一个道路地下目标检测界面,简化了目标检测流程。

关键词： 显著性目标检测   特征增强   多尺度融合   边缘引导   特征信息关联  

摘要： 显著性目标检测旨在用模拟人类视觉检测出图像中的显著目标。现有模型大都使用分层网络结构来提取多尺度特征信息,如何高效地利用这些多尺度特征信息是一个重要的研究方向。目前的方法使用了多种多样的特征融合方法来处理这些信息。但是平等对待所有的特征信息或是反复使用相关网络模块,不仅会弱化上下文关联性,还可能导致检测的显著主体区域缺失。此外,现有方法存在计算效率问题,模型需要在保持精准度的同时满足实际应用如边缘设备的性能需求。为此,本文提出了基于EfficientNet的显著性目标检测方法研究,主要工作如下: (1)针对目前模型存在检测主体缺失的问题,提出了显著特征增强网络(Salient Feature Enhancement Network,SFEN),该网络基本创新有以下几点。首先,我们引入边缘特征增强模块,专注于强化浅层特征中的边缘像素,可以避免过多处理导致性能下降。其次,引入显著目标注意模块,通过对相邻特征进行尺度融合,用于高效地增强特征信息,避免显著性目标的主体缺失。最后,提出了细节多尺度融合模块,结合窗口注意力和自注意力来细化显著目标的细节,同时减少编码器和解码器输出之间的分布差异,提高整体的预测效果。我们在6个常用显著性目标检测数据集上进行了测试。我们的模型在DUTS-TE数据集上的平均F-measure和MAE分别达到0.897和0.027,在HKU-IS数据集上的E-measure和MAE分别达到了 0.963和0.023,均优于先进方法。 (2)针对现有网络存在计算开销问题,提出了基于轻量多级融合和边缘引导的网络(Lightweight Fusion and Edge Guided Network,LFEGNet)。首先,提出了轻量多级融合模块,与现有方法融合阶段处理所有特征不同,该模块仅处理靠近深层的特征,既减少了计算开销,又保留了深层特征的有效信息。其次,提出了显著辅助模块,通过和浅层特征交互来弥补浅层特征信息差异。最后,提出了基于边缘引导的损失函数,通过对边缘区域施加自适应权重,强化网络训练过程中对边缘等细节区域的检测效果。与SFEN相比提升了约6倍的训练速度,同时实现了相当的性能。在DUTS-TE数据集上的平均F-measure和MAE分别达到0.887和0.026,在HKU-IS数据集上的E-measure和MAE分别达到了0.962和0.024。