关键词： 深度学习   目标检测   目标跟踪   卡尔曼滤波  

摘要： 随着深度学习技术在近年来的迅猛发展,其在众多领域展现出了卓越的应用潜力,自动驾驶技术无疑是其中备受瞩目的一个重要分支。如今,自动驾驶技术正稳步地从实验室中的理论研究阶段迈向真实场景的实际应用领域,这一转变标志着科技的巨大进步。本文聚焦于自动驾驶技术中的核心环节——检测与识别,旨在深入探讨一种创新性的基于深度学习的自动驾驶检测与识别方法,具体研究内容如下: 针对目标检测模块,为了解决小目标,错检、漏检等一系列问题,本文提出一种新的PSD-YOLO检测模型。首先利用动态蛇形卷积(DSConv),调整卷积核的大小和形状可以实现自适应感受野,去提升对检测目标的特征提取能力。在损失函数中用Shape Io U损失函数代替CIo U,更好的匹配目标的形状,位置信息和目标描述等。同时增加P2检测头能够有效地提升模型对多尺度目标的检测能力。在KITTI数据集中展开对比实验,优化后的PSD-YOLO算法相较于原算法P、R、m AP分别上涨2.6%、3.2%、3.2%。经实验表明,本文提出的算法有着更好的检测效果。 针对目标追踪模块,DeepSORT算法在目标跟踪领域应用广泛,但存在一定局限性。为增强目标运动模型的准确性,削减运动不确定性对目标跟踪精度产生的不利作用,通过引入噪声自适应策略,对卡尔曼滤波模型予以改进。将传统的Io U匹配技术,更新为更为高级的GIo U匹配方法。改变原有宽残差重识别网络为OSNet网络,通过深度可分离卷积、优化残差连接降低计算量与参数量,提升特征学习能力。经实验表明,与原DeepSORT算法相比,本文改进的追踪算法拥有更好的跟踪效果。 最后,本文将提出的PSD-YOLO检测算法和改进DeepSORT跟踪算法结合,构成一个同时改进目标检测和追踪的新方法,创建智能车辆行人检测系统,并将该算法以QT界面的形式展示检测、追踪效果。 图[44]表[11]参[72]

关键词： 计算机视觉   小目标检测   卷积神经网络   特征金字塔网络   YOLO  

摘要： 目标检测是计算机视觉领域的重要研究方向,旨在识别和定位图像中的特定目标。这项技术在自动驾驶、安防监控、医疗影像分析等领域具有广泛应用,显著提升了系统的智能化水平和自动化能力。随着无人机(Unmanned Aerial Vehicles,UAV)的普及,其灵活性、低成本和自主飞行能力使其在军事、救援、交通检测等领域得到广泛应用。特别是在无人机应用场景中,小目标检测变得尤为重要。小目标检测的准确性和效率直接影响到无人机在复杂环境中的应用效果。 然而,由于小目标尺寸小、分辨率低,且通常存在遮挡、重叠和密集分布等情况,小目标检测算法面临以下几个挑战:1)目标大小和外观差异。由于无人机飞行高度和拍摄角度的变化,被捕获物体的大小和外观会发生显著变化,增加了检测的复杂性和难度。2)目标遮挡和密集分布。由于无人机视角的特殊性,多个目标可能出现在同一视野中,互相遮挡,使得检测算法难以准确分离和识别每个独立的目标。3)复杂场景和混淆物体。无人机图像中的背景通常更加复杂,包含更多动态变化的元素和干扰物体,如建筑物、树木、车辆等,这些都会对目标检测算法造成干扰。另外,由于无人机的快速运动,图像中可能出现模糊和噪声,进一步增加了检测难度。 针对这些问题,本文对无人机航拍图像中的小目标检测进行了深入研究,具体研究内容包括: (1)基于多尺度空间金字塔池化和多路径自适应特征金字塔的无人机小目标检测算法。该算法采用基于多尺度空间金字塔池化(Multi-Scale Spatial Pyramid Pooling-Fast,MS-SPPF)和多路径自适应特征金字塔网络(Multi-Path Adaptive Feature Pyramid Network,MPA-FPN)的无人机检测模型Double M-Net。首先,使用主干网络作为特征提取器,从输入图像中提取多个不同尺度的特征图。其次,MS-SPPF模块通过不同池化核重复多次池化操作,以增强特征的丰富性。最后,MPA-FPN模块先融合相邻尺度之间的语义信息,然后将顶层特征逐层传递回底层,增强底层特征,从而实现不同尺度特征的交互和集成。该算法在Vis Drone数据集上的m AP50-95为27.5%,在Drone Vehicle数据集的RGB和红外模式下的m AP50-95分别为55.0%和60.4%。实验结果表明,该模型在空对地图像检测任务中表现优异,尤其在小目标检测方面取得了出色的结果。 (2)基于增强特征金字塔网络的无人机小目标检测算法。该算法采用增强特征金字塔网络(Enhanced Feature Pyramid Network,E-FPN)方法,整合简化的空间金字塔池化(Simplified SPPF,Sim SPPF)结构。首先,对输入图像进行数据增强预处理,然后使用带有Sim SPPF的CSPDarknet53作为主干,从视觉图像中提取多尺度特征。其次,在E-FPN框架中融入跨阶段部分模块,增强网络捕捉目标细节的能力,E-FPN颈部通过自上而下和自底向上的路径,融合不同层次和尺度的特征,生成四种不同的特征表示。最后,通过检测头得到最终预测结果。该算法在MS COCO数据集上取得了37.7%的m AP50-95,在Vis Drone数据集上的准确率和m AP50分别达到67.5%和62.0%。

关键词： 无人机   目标检测   视觉-语言目标跟踪   轨迹预测  

摘要： 随着社会现代化进程快速推进,城市车辆急剧增加,行人活动高度频繁,导致城市交通系统越来越趋向动态化与复杂化,交通安全隐患日益严重。智慧交通系统逐渐成为极具潜力的新型交通治理模式,特别是AI赋能的无人机技术成为了解决交通问题的新途径。其中交通事故的实时精准识别与交通参与者的轨迹预测优化成为无人机技术实用化的关键,这是因为在无人机对地面观测的特殊视角情况下,AI交通治理尚存在以下典型问题:仅凭视觉特征难以覆盖交通数据全貌导致场景识别率低;交通参与者轨迹预测中存在交互关系建模不充分、关键信息丢失。针对上述挑战,本文面向无人机视角下的交通场景,完成了目标检测与行为识别等研究,主要内容如下: (1)构建了基于改进YOLOv8的注意力融合交通事故识别网络。将CBAM双注意模块插入到原网络Backbone的中高层特征提取阶段,增强对事故特征的敏锐度。同时,在Neck层引入轻量级Sim AM空间注意力,提升小目标的定位精度。并制作无人机视角下交通事故图片数据集Traffic AD,相关实验表明,在YOLOv8网络上进行的改进均取得了先进的性能,和Baseline网络相比,模型在评估指标m AP@0.5上提升了1.6%,在m AP@0.5:0.95上提升了2.8%。 (2)研究了基于视觉-语言双模态特征的无人机视角下交通事故识别算法,并构建了无人机视角下的交通事故视频数据集。针对交通事故数据提出了多模态注意力融合模块,构建交通事故多模态识别网络。首先通过投影对齐将特征映射到共享空间,然后基于跨模态多头注意力与通道注意力,让语言和视觉双模态交通事故特征相互查询和响应,以捕捉深层次的语义关联。在交通事故数据集上的实验表明,本模型提出的方法在Baseline基础上AUC提升8.3%,有效提升了多模态交通事故识别结果的精度。 (3)研究了一种基于时空图注意网络的行人轨迹预测算法。针对行人交互关系建模在长时序列和短时空间交互建模不充分的问题,研究了基于双维度注意力协同的时间序列注意力模块和双维度注意力协同的空间图注意力模块,构建时空注意力感知网络,并结合通道注意力、多头注意力等多种注意力机制,提升对复杂行人交互的建模能力。遵循行人运动的客观规律以及随机性,在解码器部分构建了混合噪声模块,引入噪声退火等结构生成速度连续变化的轨迹。在行人轨迹预测数据集ETH、UCY的实验结果表明,此模型和先进网络相比在平均FDE指标上降低12.6%,表现出更强的竞争力。 (4)构建了基于动态注意力特征编码的车辆轨迹预测图注意网络。针对车辆轨迹预测中特征粗粒度编码导致信息丢失问题,设计了残差注意力模块Re LCA,通过双层感知机、残差链接适配、轻量级通道注意力以及动态温度缩放等结构增强重要特征并提升特征区分度。基于车辆之间的交互建模提出了通道图注意网络CGAT,将图注意力与通道注意力相结合,提取显著特征和交互模式特征。在轨迹预测数据集INTERACTION中的实验结果表明,与先进网络相比FDE指标降低了12.7%。

关键词： 沙尘环境图像恢复   沙尘环境目标检测   域随机化   仿真数据生成   数据增强  

摘要： 域随机化方法旨在使用仿真数据训练计算机视觉模型以提高其性能,它通过随机化仿真参数来解决仿真数据与现实数据之间存在的域差距问题。该方法被广泛应用在计算机视觉任务中,尤其是数据难以获取和不易标注的现实场景,如复杂天气目标检测、6D-姿态估计和机器人视觉等领域。沙尘场景下的图像恢复和目标检测作为复杂天气中当中的重要子任务,在国民经济、军事国防与科研科考等领域具有重要的研究意义。但是,沙尘场景下存在图像采集困难、基准图像缺乏、标注成本高和标注准确性差的问题。因此,本文围绕沙尘场景图像恢复和目标检测两种任务展开研究,使用域随机化方法进行训练数据增强,从而提升模型的域适应能力,提高图像恢复模型和目标检测模型在现实场景下的泛化能力。此外,考虑到车辆检测任务因其在目标检测研究中的典型性和代表性,以及车辆3D模型拥有种类丰富、数据收集与处理成本低等优势,本文将车辆检测任务作为目标检测方法的核心应用场景开展实验。本文的主要研究内容如下: (1)基于域随机化方法,针对沙尘图像恢复任务数据缺乏的问题,提出一种恶劣大气光照条件下的图像生成器(Image Regenerator for Optically Hazardous Weather,Iroha),用于对沙尘图像恢复算法进行数据增强。由于真实沙尘图像缺少配对的基准图像,而合成的沙尘图像真实性不足,容易导致域差距问题,本文通过物理建模与图形渲染生成符合成像规律的沙尘图像及基准图像,并引入随机化技术优化训练数据,使图像恢复模型更具鲁棒性与泛化能力。此外,Iroha提供准确的深度图与退化信息,辅助模型学习,有效提升恢复结果的可靠性。 (2)针对沙尘场景下目标检测任务的训练数据生成成本高、灵活性差的问题,提出一种Mosaic实例嵌入的数据扩充方法(Mosaic Instance Insertion for Data Augmentation,Mii4da),用于对端对端沙尘环境目标检测算法进行数据增强。该方法将前景与背景分离并分别渲染,再通过数字图像处理方式随机嵌入前景,以提高数据生成效率。通过使用域随机化方法,将分别渲染过程以及随机嵌入过程的参数进行随机化设置来缩小域差距。此外,为了进一步缩小合成图像与真实图像的域差距,该方法还会针对目标域图像的特征设计相应的后处理效果,使数据更符合目标检测任务的需求。实验表明,该方法可有效提升目标检测模型的泛化能力,使YOLOv5在KITTI和Dusty-Cityscapes数据集上均取得良好表现。 (3)针对图像恢复与目标检测模型设计相对独立、上下游任务适配性不足的问题,提出一种两阶段沙尘环境目标检测检测的数据扩充方法(Integrated Data Augmentation Method of Iroha and Mii4da,Idam),首先进行图像恢复,再结合目标检测。该方法面向真实沙尘环境目标检测算法进行数据扩充,旨在通过联合图像恢复模型与恢复后图像上的目标检测模型的训练来提高。针对图像恢复过程可能引入的新的噪声与失真,该方法通过域随机化方法对沙尘图像合成时的参数进行充分组合,能够有效模拟增强恢复后图像的丰富多变的噪声模式,以提升检测模型对噪声的鲁棒性,使其在沙尘环境下表现更优,具有更强的泛化能力。

关键词： 水下小目标检测系统   目标检测   轻量化   图像增强   深度学习  

摘要： 随着“蓝色粮仓”战略的提出和海洋牧场的兴起,对海洋资源监测和管理的自动化需求日益增长,尤其是在海参、海胆等底栖物种的生长监测与捕捞方面。传统的水下作业方式效率低下且伴随较高的风险,因此开发一种可嵌入到水下机器人的小目标检测算法以替代人工监测并提高作业效率,具有重要的现实意义。基于以上现状,本文提出了一种高效且轻量化的小目标检测模型。主要研究内容如下: (1)针对水下图像质量低下,提出了一种水下图像增强算法 在光的吸收和散射效应下,水下图像会产生颜色偏差,细节模糊,以及整体对比度较低等现象。针对上述问题,本文提出了一种基于小波融合的水下图像增强算法。首先,提出了一种基于光衰减和统计特性的颜色校正策略,用以消除水下图像中的严重蓝绿色偏现象。接着,提出了一种基于分段最大熵的自适应全局对比度增强算法,以改善图像亮度分布不均的问题。随后,提出了一种基于加权多尺度高斯差分的细节增强算法,以增强图像中的细节纹理特征。最后,采用双正交小波分解策略得到全局对比度增强和局部细节增强图像的高频和低频分量,再通过小波逆变换重构出最终高质量的水下图像。此算法在公开数据集UIEB和UIQS上的评估指标UIQM和UCIQE分别取得了 4.73与0.67、5.13与0.63的得分。此外,将经过此算法增强后的URPC2020数据集用于目标检测模型的训练,相对于原来的mAP@0.5提高了 0.3%,验证了此算法的有效性。 (2)针对现有模型难以高效部署到边缘设备中,设计了一种轻量化检测模型 当前水下目标检测模型对水下小目标生物检测的精度低,并且模型难以高效部署至边缘检测设备中。针对上述问题,本文设计了一种名为SFESI-YOLOv8n的轻量化检测模型。首先,通过优化目标检测层,使模型在不增加参数量的前提下,能够有效检测到4×4及以上尺寸的目标,从而增强模型对小目标的检测能力。接着,将双分支架构的MLCA注意力机制引入到小目标检测层,进一步提升模型对小目标特征的关注度。随后,构建新的Faster Block结构替代C2f中的Bottleneck结构,减少多个Bottleneck层堆叠带来的冗余计算,从而降低模型计算复杂度。此外,采用无需额外定制CUDA库的DySample动态上采样替换传统的最近邻插值法上采样。DySample动态上采样机制采用多层级特征整合策略,能够在降低内存占用的同时,提升特征图生成的质量。最后,结合Wasserstein距离度量和辅助边界框原理构建新的损失函数In-NWD,有效降低了模型对目标框的位置偏差敏感性,并加速模型的收敛速度。在URPC2020公共数据集上,SFESI-YOLOv8n的mAP@0.5和推理速度分别达到了 83.7%和227帧/秒,较原模型YOLOv8n分别提高了 1.1%和9帧。相比于原模型YOLOv8n的3.0M,本文提出的模型参数量仅为1.5M,降低了 50%。此外,与主流单阶段目标检测算法(如YOLOv5s、YOLOv6n、YOLOv7n、YOLOv9t)及轻量化检测模型(如YOLO-SBL)相比,SFESI-YOLOv8n在模型轻量化、检测精度和推理速度等方面均取得了提升。这些结果验证了 SFESI-YOLOv8n模型具有较好的精确性、实时性和轻量性。 (3)设计了一种水下小目标检测系统 在硬件部分,采用了 NVIDIA Xavier TX2开发板作为SFESI-YOLOv8n模型部署的边缘设备。在软件部分,采用PyQt5搭建了可以反馈检测结果的可视化平台,便于用户操作。在模型部署的过程中,采用了 TensorRT优化加速,使模型在边缘上设备上的推理时间从45.3毫秒提升至24.3毫秒,从而实现了每秒41帧的推理速度。最终,利用搭载SFESI-YOLOv8n模型的仿生机器鱼在真实水下环境下对海参、海胆、扇贝以及海星进行了目标检测,并通过机器人与PC端在同一局域网下建立的IP地址连接,传输到PC端的可视化平台。在可视化平台界面中,用户可以实时查看目标的具体位置、类别和检测结果。此系统海洋牧场资源监测提供了有效支持,降低了人工成本。