摘要： 雾凇岛位于吉林市郊外正北方的松花江上,进入冬季,每逢傍晚江面飘起大雾,岛上的柳树、洋槐等枝条便会沾满水汽,经过夜晚零下二十多摄氏度的低温冰冻,水汽凝结成雪白的浓霜,被人们称为雾凇,也叫树挂。第二天大雾散去,在阳光的照耀下,银装素裹,煞是好看,是冬日旅游观景的绝佳之选,这里也成为许多影友的打卡之地。

关键词： 无人机   目标检测   视觉-语言目标跟踪   轨迹预测  

摘要： 随着社会现代化进程快速推进,城市车辆急剧增加,行人活动高度频繁,导致城市交通系统越来越趋向动态化与复杂化,交通安全隐患日益严重。智慧交通系统逐渐成为极具潜力的新型交通治理模式,特别是AI赋能的无人机技术成为了解决交通问题的新途径。其中交通事故的实时精准识别与交通参与者的轨迹预测优化成为无人机技术实用化的关键,这是因为在无人机对地面观测的特殊视角情况下,AI交通治理尚存在以下典型问题:仅凭视觉特征难以覆盖交通数据全貌导致场景识别率低;交通参与者轨迹预测中存在交互关系建模不充分、关键信息丢失。针对上述挑战,本文面向无人机视角下的交通场景,完成了目标检测与行为识别等研究,主要内容如下: (1)构建了基于改进YOLOv8的注意力融合交通事故识别网络。将CBAM双注意模块插入到原网络Backbone的中高层特征提取阶段,增强对事故特征的敏锐度。同时,在Neck层引入轻量级Sim AM空间注意力,提升小目标的定位精度。并制作无人机视角下交通事故图片数据集Traffic AD,相关实验表明,在YOLOv8网络上进行的改进均取得了先进的性能,和Baseline网络相比,模型在评估指标m AP@0.5上提升了1.6%,在m AP@0.5:0.95上提升了2.8%。 (2)研究了基于视觉-语言双模态特征的无人机视角下交通事故识别算法,并构建了无人机视角下的交通事故视频数据集。针对交通事故数据提出了多模态注意力融合模块,构建交通事故多模态识别网络。首先通过投影对齐将特征映射到共享空间,然后基于跨模态多头注意力与通道注意力,让语言和视觉双模态交通事故特征相互查询和响应,以捕捉深层次的语义关联。在交通事故数据集上的实验表明,本模型提出的方法在Baseline基础上AUC提升8.3%,有效提升了多模态交通事故识别结果的精度。 (3)研究了一种基于时空图注意网络的行人轨迹预测算法。针对行人交互关系建模在长时序列和短时空间交互建模不充分的问题,研究了基于双维度注意力协同的时间序列注意力模块和双维度注意力协同的空间图注意力模块,构建时空注意力感知网络,并结合通道注意力、多头注意力等多种注意力机制,提升对复杂行人交互的建模能力。遵循行人运动的客观规律以及随机性,在解码器部分构建了混合噪声模块,引入噪声退火等结构生成速度连续变化的轨迹。在行人轨迹预测数据集ETH、UCY的实验结果表明,此模型和先进网络相比在平均FDE指标上降低12.6%,表现出更强的竞争力。 (4)构建了基于动态注意力特征编码的车辆轨迹预测图注意网络。针对车辆轨迹预测中特征粗粒度编码导致信息丢失问题,设计了残差注意力模块Re LCA,通过双层感知机、残差链接适配、轻量级通道注意力以及动态温度缩放等结构增强重要特征并提升特征区分度。基于车辆之间的交互建模提出了通道图注意网络CGAT,将图注意力与通道注意力相结合,提取显著特征和交互模式特征。在轨迹预测数据集INTERACTION中的实验结果表明,与先进网络相比FDE指标降低了12.7%。

关键词： 水下小目标检测系统   目标检测   轻量化   图像增强   深度学习  

摘要： 随着“蓝色粮仓”战略的提出和海洋牧场的兴起,对海洋资源监测和管理的自动化需求日益增长,尤其是在海参、海胆等底栖物种的生长监测与捕捞方面。传统的水下作业方式效率低下且伴随较高的风险,因此开发一种可嵌入到水下机器人的小目标检测算法以替代人工监测并提高作业效率,具有重要的现实意义。基于以上现状,本文提出了一种高效且轻量化的小目标检测模型。主要研究内容如下: (1)针对水下图像质量低下,提出了一种水下图像增强算法 在光的吸收和散射效应下,水下图像会产生颜色偏差,细节模糊,以及整体对比度较低等现象。针对上述问题,本文提出了一种基于小波融合的水下图像增强算法。首先,提出了一种基于光衰减和统计特性的颜色校正策略,用以消除水下图像中的严重蓝绿色偏现象。接着,提出了一种基于分段最大熵的自适应全局对比度增强算法,以改善图像亮度分布不均的问题。随后,提出了一种基于加权多尺度高斯差分的细节增强算法,以增强图像中的细节纹理特征。最后,采用双正交小波分解策略得到全局对比度增强和局部细节增强图像的高频和低频分量,再通过小波逆变换重构出最终高质量的水下图像。此算法在公开数据集UIEB和UIQS上的评估指标UIQM和UCIQE分别取得了 4.73与0.67、5.13与0.63的得分。此外,将经过此算法增强后的URPC2020数据集用于目标检测模型的训练,相对于原来的mAP@0.5提高了 0.3%,验证了此算法的有效性。 (2)针对现有模型难以高效部署到边缘设备中,设计了一种轻量化检测模型 当前水下目标检测模型对水下小目标生物检测的精度低,并且模型难以高效部署至边缘检测设备中。针对上述问题,本文设计了一种名为SFESI-YOLOv8n的轻量化检测模型。首先,通过优化目标检测层,使模型在不增加参数量的前提下,能够有效检测到4×4及以上尺寸的目标,从而增强模型对小目标的检测能力。接着,将双分支架构的MLCA注意力机制引入到小目标检测层,进一步提升模型对小目标特征的关注度。随后,构建新的Faster Block结构替代C2f中的Bottleneck结构,减少多个Bottleneck层堆叠带来的冗余计算,从而降低模型计算复杂度。此外,采用无需额外定制CUDA库的DySample动态上采样替换传统的最近邻插值法上采样。DySample动态上采样机制采用多层级特征整合策略,能够在降低内存占用的同时,提升特征图生成的质量。最后,结合Wasserstein距离度量和辅助边界框原理构建新的损失函数In-NWD,有效降低了模型对目标框的位置偏差敏感性,并加速模型的收敛速度。在URPC2020公共数据集上,SFESI-YOLOv8n的mAP@0.5和推理速度分别达到了 83.7%和227帧/秒,较原模型YOLOv8n分别提高了 1.1%和9帧。相比于原模型YOLOv8n的3.0M,本文提出的模型参数量仅为1.5M,降低了 50%。此外,与主流单阶段目标检测算法(如YOLOv5s、YOLOv6n、YOLOv7n、YOLOv9t)及轻量化检测模型(如YOLO-SBL)相比,SFESI-YOLOv8n在模型轻量化、检测精度和推理速度等方面均取得了提升。这些结果验证了 SFESI-YOLOv8n模型具有较好的精确性、实时性和轻量性。 (3)设计了一种水下小目标检测系统 在硬件部分,采用了 NVIDIA Xavier TX2开发板作为SFESI-YOLOv8n模型部署的边缘设备。在软件部分,采用PyQt5搭建了可以反馈检测结果的可视化平台,便于用户操作。在模型部署的过程中,采用了 TensorRT优化加速,使模型在边缘上设备上的推理时间从45.3毫秒提升至24.3毫秒,从而实现了每秒41帧的推理速度。最终,利用搭载SFESI-YOLOv8n模型的仿生机器鱼在真实水下环境下对海参、海胆、扇贝以及海星进行了目标检测,并通过机器人与PC端在同一局域网下建立的IP地址连接,传输到PC端的可视化平台。在可视化平台界面中,用户可以实时查看目标的具体位置、类别和检测结果。此系统海洋牧场资源监测提供了有效支持,降低了人工成本。

关键词： 目标检测   YOLOF   样本选择   可变形卷积   IoU  

摘要： 在这个计算机硬件飞速更新换代的时代,伴随着深度学习技术迅猛发展,随之而来的是计算机视觉受到高度重视。作为该领域核心任务的目标检测,已广泛应用在安防、智能驾驶及智能医疗诊断等多个场景使用。但由于特定领域数据集的匮乏以及实际检测环境中的挑战,以及对于形状与姿态多变的目标、有着复杂背景干扰的目标、小目标等存在着漏检或者是误检的问题。针对这些问题,单纯依赖于提高检测模型的规模和网络深度虽然可能带来一定的性能提升,但会造成计算开销显著增加等问题,同时也面临边际效应递减的问题。因此,需要在保证算法效率的同时也要提升检测精度。本研究在单阶段的YOLOF检测算法的基础上,改善了检测器精度不足和覆盖能力差的缺点。 (1)在本研究中,通过动态调整卷积核,降低参数量,使用了一种更高效的可变形卷积与Sim AM(Simple Attention Module)相结合的方法。在MS COCO数据集上实现了精度提升,同时保持了计算资源消耗的平衡。 (2)针对样本选择策略的不足,现有YOLOF检测算法在多形态和尺度变换目标的识别方面存在改进空间。通过对正样本筛选流程进行优化,实现了动态数量控制的样本管理方式,从而提升了检测精度和效率。这实现了正样本选择的有效平衡。该方法在检测不同尺度目标,尤其是小目标方面表现出显著改进。在MS COCO和Urised11尿沉渣数据集上证明Dq-YOLOF的有效性。 (3)针对Dq-YOLOF中的损失函数,主要对正样本选择后的样本分类和样本回归的损失函数进行改进,并将改进之后的模型命名为Dq S-YOLOF。在原检测器的基础上,对于小目标和多形态目标的检测有了进一步的提升,可以达到更高的精度,在MS COCO数据集、Vis Drone数据集以及Urised11数据集均有提升。 图[18]表[13]参[80]

关键词： 遥感图像   卷积神经网络(CNN)   YOLOv8   目标检测  

摘要： 针对遥感图像背景复杂、小目标分布密集、目标尺度多样、易受环境因素影响等问题，本文提出一种改进YOLOv8的遥感目标检测算法：YOLOv8-LGA。首先，在主干网中引入LSK(large selective kernel)注意力模块，通过捕获和突出显示各种空间信息来增强特征选择。其次，使用GhostConv重构空间金字塔池化模块，利用其冗余特性来弥补最大池化层丢失细节信息的问题。然后，提出ABFPN(asymptotic bifurcated feature pyramid network)结构，巧妙地合并来自多个层级的特征，同时减少原网络在双向路径传播和交互过程中造成的信息丢失情况。最后，在DOTAv1.0数据集上进行了实验验证。实验结果表明，YOLOv8-LGA模型的识别准确率为81.6%,召回率为68.8%,平均精度均值(mean average precision,mAP)为73.6%,比YOLOv8高出2.3%、0.3%和1.6%。