关键词： 无人船   水面目标检测   目标跟踪   注意力机制   轻量化模型  

摘要： 无人船作为一种新型智能化海上交通工具,在海洋工程、生态保护和水面安防等领域都具有广泛的应用前景。无人船技术目前仍主要处于半自主航行阶段,即可以按照预设路径完成航行。然而,为实现真正的自主航行,无人船必须具备精准的水面目标检测与跟踪能力,以提升其环境感知和智能决策水平。因此,研究高效和量化的水面目标检测与跟踪方法对于无人船的智能化发展至关重要。 当前主流的目标检测网络在检测精度与计算复杂度之间存在矛盾,而无人船的硬件资源有限,难以承载大型目标检测模型带来的高计算负担。为解决这一问题,本文基于YOLOv5目标检测网络进行轻量化改进,并将其作为Deep Sort跟踪框架的检测器,构建了较高精度,实时性强的水面目标检测与目标跟踪方法。本研究的主要贡献如下:(1)鉴于YOLOv5模型结构复杂,参数数量和计算量较大的问题,提出了新型的轻量化船舶目标检测网络。首先使用Leakey Relu激活函数替换Shuffle Netv2中的Relu激活函数,以缓解由于输出为0造成的网络神经元梯度消失问题。将改进后的Shuffle Netv2替换YOLOv5的主干网络,有效地降低了网络的参数量和计算量;此外,为了平衡由于主干轻量化带来的检测准确率下降的问题,设计了基于大核卷积和可变形卷积的注意力模块,从卷积核尺寸和形状两个维度扩大感受野,以提高特征提取整合能力,并提高模型的检测准确率;为了减少训练样本中低质量样本对网络的影响,引入WIOUv3损失函数,此举可以提高模型的检测准确率。实验结果表明,与原YOLOv5相比,本文方法的m AP@0.5和m AP@0.5:0.95分别提高3.9%和3.3%,参数量和计算量分别降低71%和58%,改进后的算法在准确率和计算效率上得到了更好的平衡。(2)针对船舶多目标跟踪的稳定性问题,将改进后的目标检测网络作为检测器,加入Deep Sort目标跟踪框架中,以提供高精度的目标位置信息。同时,在Deep Sort的身份识别子网络中引入SE注意力机制,提升检测框区域目标特征的提取能力,从而增强目标身份判别的稳定性。实验结果显示,优化后的Deep Sort算法在目标跟踪性能方面取得了显著提升,其中:MOTP(多目标跟踪精度)提高了1.8%,MOTA(多目标跟踪准确率)提升了4.04%,ID切换次数减少了11%,有效增强了跟踪的稳定性和准确性。 综上,本文提出了一种高效、轻量化的水面目标检测与跟踪方法,能够在保障检测精度的同时降低计算负担,强实时性,为无人船的自主感知与智能决策提供了关键技术支持。

关键词： 旋转不变性   图像处理   卷积神经网络   低功耗嵌入式开发  

摘要： 在计算机视觉和模式识别领域中,旋转不变性一直受到研究人员的广泛关注。在人工智能时代,常用卷积神经网络处理视觉相关任务。但是卷积神经网络不具有旋转不变性,在遇到同类物体在图像中角度不同的情况时,卷积神经网络的性能会大幅降低。因此,需要向卷积神经网络中引入旋转不变性,以提高对旋转图像的分类精度。同时,考虑到部分计算资源受限的边缘计算应用场景,因此需要平衡分类精度与模型规模,以实现边缘端部署。 在算法设计方面,本文从图像自身入手,根据物理学中矩的概念提出图像特征角的计算公式。并且,通过公式推导出图像特征角的特殊性质。这个特殊性质是,当一张图像被随机旋转后,再经过此时特征角的度数旋转得到的图像,与最原始的图像经过特征角旋转后得到的图像相比,只会相差0、90、180和270度这四种情况。由于只存在这四种情况,因此可以构建四分支旋转卷积神经网络。在第一个分支中定义标准卷积核对应0度的情况,接收反向传播并更新权重,其余三个分支分别基于标准卷积核旋转90、180和270度,这样四个分支之间相互关联,有助于全方位分析图像。最后通过自定义的分支收敛模块从四个分支中挑选最佳分支作为分类预测结果。 本文提出的基于图像特征角的四分支旋转卷积神经网络模型在旋转手写数字数据集上实现了目前的最佳精度。这个模型将原先的最佳精度提升了0.73%,参数量减少了98.27%。此外,在多个遥感图像和医学图像分类数据集上,本文提出的模型利用较少的参数量,取得了相比于先前提出的模型接近甚至更高的分类性能。以上实验体现了本文模型在规模较小的情况下,仍然具有较强的处理旋转图像的能力,是一个具有旋转不变性的模型。 除了算法设计,本文还基于Nucleo-G474RE低功耗嵌入式开发平台对提出的旋转不变模型进行硬件部署。由于Pytorch官方旋转函数无法导出成ONNX文件,进而无法实现硬件部署,因此本文针对旋转卷积核和旋转图像这两种情况分别提出了对应的自定义旋转算子。 此外,本文使用剪枝技术对模型规模进一步压缩,控制精度损失,并且提高处理速度。之后上板验证测试旋转算子和模型压缩的实际效果以及硬件性能表现,最终展现出极低的功耗。相比于图形处理单元,功耗降低了3个数量级,并且接近实时性的帧率要求。

关键词： 计算机视觉   无人机   图像数据采集   无人机航线规划   可视化模型  

摘要： 地震发生后,建筑的健康状态直接关系其安全使用性能,进而决定灾后重建进程和居民生活恢复速度。针对目前震后建筑健康状态评估中图像数据采集效率低和建筑健康状态可视化手段不足等问题,本文提出了一种基于无人机和计算机视觉的自动化图像采集与建筑健康状态快速可视化方法。传统的人工损伤评估方式不仅耗时长、成本高,而且存在较大的安全隐患;而传统的可视化模型建模方法则需要大量且冗余的图像数据或设计图纸。无人机与计算机视觉技术的结合,为快速、安全地采集图像并高效展示建筑健康状态提供了有效的解决方案。具体研究内容如下: (1)本文提出了一种基于图像数据的建筑尺寸信息提取方法,该方法包括建筑外轮廓提取和高度提取。利用无人机采集建筑的俯视照片提取建筑尺寸信息(建筑外轮廓和高度),有效解决了目标建筑缺少设计图纸的问题。模拟试验结果显示,提取的某五层建筑和某十五层高层建筑的外轮廓与其实际外轮廓一致,且计算所得高度与实际高度一致。证明了本文尺寸信息提取方法的有效性和准确性,为后续无人机航线规划提供基础。 (2)本文开发了一种基于计算机视觉的无人机采集航线自动规划算法。算法利用提取的建筑尺寸信息生成初始飞行航线,并综合考虑多因素计算和优化航线参数,形成高效的无人机采集航线。通过在虚拟环境中模拟无人机采集过程,验证了该算法规划的航线能够采集高质量、高分辨率的图像数据。 (3)本文开发了一种建筑健康状态可视化模型建模方法。利用所提取的尺寸信息生成无纹理三维模型,将无人机采集的图像数据精准投影至模型,实现建筑结构构件与损伤的可视化与损伤精确定位。同时,将开发的方法应用于广州大学某学生宿舍楼,提取的建筑轮廓尺寸与实际轮廓尺寸高度一致,高度计算误差为0.3%,所规划的无人机采集航线能够在短时间内自动地采集图像数据,并建立建筑健康状态的可视化模型。现场试验结果表明所提方法在实际应用中能够安全、准确、快速地采集建筑图像数据并建立可视化模型。 综上所述,结合提取的尺寸信息和无人机采集的数据,建立了建筑健康状态的可视化模型,实现了建筑结构构件及损伤部位的直观三维展示与精准定位。通过在广州大学某学生宿舍楼的现场试验验证,所提出的方法证明了其在实际应用中的安全性、准确性和高效性,展示了良好的工程应用前景。

关键词： 深度学习   计算机视觉   智慧矿山   块煤检测   定位追踪  

摘要： 煤炭作为重要化石燃料,在能源结构中占据关键地位,其稳定供应直接关系到国家能源安全与工业发展。在煤炭开采和转运过程中,大块煤炭常对矿用输送带的安全运行构成威胁,因此实时监测与定位大块煤炭具有重要的实践意义。本文融合深度学习与计算机视觉技术,针对矿用输送带大块煤炭检测与定位问题开展系统研究。 研究以山西省大同市马道头煤矿为实验对象,通过NAFNet数据增强算法构建并优化高质量数据集,在YOLOv11算法基础上引入Star Block-Sim AM轻量化模块、NAM注意力机制和Efficient-Rep GFPN信息融合机制,提出YOLO Coal检测算法;同时改进Bot-SORT算法,引入GIo U度量指标,提出GBot-SORT追踪算法,实现大块煤炭的精准定位与连续追踪。 实验结果表明,YOLO Coal算法相比YOLOv11,在轻量化方面参数量减少20.16%,FLOPs降低4.76%,模型体积缩减20.00%,训练时长减少30.69%;在精度性能方面,精确率提升至73.8%,召回率达67.1%,m AP@0.5增至73.9%,F1值提高至71;在实时性方面,FPS提升121.67%。改进的GBot-SORT算法MOTA达72.7%,IDF1提升至79.8%,IDS降至30,显著增强目标追踪的连续性。通过消融实验和对比分析验证所提方法的有效性,为矿用输送带安全监测提供可靠的技术支持,对推动煤炭行业智能化、无人化、远程化、数据化的发展具有重要的意义。

关键词： 小麦病害   目标检测   实例分割   云边协同   YOLOv8   Cascade Mask R-CNN  

摘要： 小麦作为我国主要粮食作物之一,其生产过程中面临的病害威胁日益严峻,条锈病、赤霉病等重大病害的爆发常导致区域性减产甚至绝收。随着计算机视觉与边缘计算技术的快速发展,基于深度学习的病害智能检测技术成为研究热点,然而农田场景的特殊性对算法部署提出了严峻挑战,复杂的自然环境导致病害目标尺度多样、形态多变,且边缘设备有限的算力与不稳定的网络条件限制了高精度模型的实时应用。在此背景下,探索兼顾实时性、精确性与资源效率的云边协同检测方法,成为推动智慧农业落地的关键突破口。 本文聚焦小麦病害目标检测与实例分割任务,构建基于云边协同架构的智能检测系统。针对边缘设备资源受限问题,设计轻量化目标检测模型实现田间病害实时检测;面向精细化分析需求,设计改进实例分割模型完成云端高精度量化评估;通过动态任务调度与数据传输优化策略,实现病害检测和分割任务的高效协同。本文从轻量级小麦病害检测模型构建、精细化分割模型优化、云边协同系统实现三个层面展开研究,具体工作和贡献包括: (1)基于改进YOLOv8n的轻量化小麦病害检测模型构建。针对田间监测设备如无人机等计算资源受限的问题,提出改进的PGCW-YOLOv8深度学习架构算法,在保证精度的同时构建轻量化检测模型。引入PP-LCNet网络重构特征提取层,显著降低模型参数量与计算复杂度;结合GAM注意力机制增强病害特征表达;通过CARAFE算子和Wise-Io U损失函数优化提升模型性能,有效缓解密集病斑的检测遗漏。实验表明,改进后的模型在自建小麦病害数据集上达到91.4%的m AP@0.5,参数量压缩至2.6M,为边缘端病害实时检测提供了可靠的技术支撑。 (2)基于改进Cascade Mask R-CNN的小麦病害精细化实例分割模型构建。本文以Cascade Mask R-CNN模型为基础,针对田间病斑多尺度分布、形态不规则及复杂背景干扰等问题进行改进优化。通过采用Res2Net-DCNv2骨干网络、嵌入动态稀疏注意力机制以及设计EIo U损失函数与梯度指导的Softer-NMS算法,有效解决了病斑多尺度分布、小目标密集检测及复杂背景干扰等问题。实验结果表明,改进后的模型在Io U阈值0.75下的分割精度达到84.3%,较基线模型提升5.7个百分点,为病害严重度评估与精准施药提供了关键技术支持。 (3)基于云边协同的小麦病害检测与分割系统构建。采用"边缘检测-云端分割"两阶段的云边协同范式,构建小麦病害检测与分割可视化系统,边缘计算层搭载优化的YOLOv8n轻量化检测模型,实现田间病害实时初筛与可疑区域定位;云端计算层部署改进的Cascade Mask R-CNN实例分割模型,执行像素级病斑形态解析。硬件架构设计方面,边缘端采用Nvidia Jetson Nano模块化设备构建实时检测终端;云端部署配备两块Nvidia RTX A5500显卡的分布式服务器集群,通过容器化技术实现计算资源弹性调度。云边协同通信机制基于MQTT协议实现,设计三级主题订阅模式实现数据分流,采用QoS2等级保障检测结果与高分辨率图像的可靠传输。

关键词： 计算机视觉   深度学习   小目标检测   YOLO  

摘要： 基于深度学习的YOLO系列目标检测算法因出色的实时检测性能而被广泛应用。然而,该系列算法对于复杂背景和雾霾天气下小目标的检测仍然是一个挑战。原始YOLO算法更适合检测多尺度目标,而对像素占比小、特征信息不足的小目标检测性能较低,难以达到预期效果。本文分别基于经典YOLOv7和YOLOv9算法做出改进,用于提高在复杂背景和能见度低的环境中的航拍小目标检测性能,主要研究内容如下: 在航拍图像分析中,由于小目标的像素占比极小且背景复杂,检测小目标具有极高的挑战性。为了解决这一问题,本文提出了一种新颖的航拍小目标检测方法。首先,利用K-means++算法生成适合小目标的锚框,以优化目标定位的初始条件。其次,提出了YOLOv7-BFAW模型,该方法对YOLOv7进行了一系列改进:在骨干网络中引入了基于Bi Former和Bottle Neck融合的BBF残差结构,以增强特征提取能力;在头网络中设计了基于sim AM注意力的MPsim模块,以提升特征表达的精细度;并基于WIo U v2开发了一种新的定位损失函数——inner-WIo U v2,进一步优化了目标定位的准确性。实验结果表明,YOLOv7-BFAW在DOTA v1.0数据集上的m AP提升了4.2%,在Vis Drone2019数据集上的m AP提升了1.7%,展现了优异的泛化能力。此外,与当前最先进的算法相比,YOLOv7-BFAW表现出较优越的检测性能。 针对在雾天场景下,遥感小目标检测存在漏检错检的问题,本文提出一种基于双子网多任务协同训练的GFFA-YOLO算法。首先,基于门控融合设计了GFFA网络,并作为去雾子网,促进雾天场景中目标信息恢复。其次,基于SCConv设计了SD-SCConv优化自校正卷积和Rep NCSPELAN-SD-SCConv模块,并引入检测阶段的骨干网络,通过融合空间到深度层和自校正机制,提高模型的特征提取能力。最后,在特征金字塔结构中引入选择注意力LSK模块,通过动态调整感受野,增强模型多尺度特征融合。实验结果表明,GFFA-YOLO在不同雾霾浓度的NWPU VHR-10数据集上m AP达到了85.6%和74.3%,相较原始算法m AP提升了2.2%和1.2%;在薄雾处理的DOTA v1.0数据集上m AP达到了82.1%。与当前主流算法相比,GFFA-YOLO具有较高的检测能力。 最后,对小目标检测研究工作进行分析总结,并提出了后续的研究方向。