关键词： 目标检测   感受野增强   跨尺度融合   多模态  

摘要： 车辆与行人检测技术在安防监控、智慧交通等领域发挥着重要作用。然而,现有单模态目标检测方法在复杂交通场景下仍面临诸多挑战,如目标尺度变化大、相互遮挡严重,以及在天气条件差的情况下可见光图像易受光照、雾霾等环境因素干扰,导致检测性能下降。如何在复杂环境下提升检测精度与鲁棒性仍是亟待解决的问题。针对上述挑战,本文主要开展了以下研究工作: （1）本文提出了一种基于感受野增强和跨尺度融合的目标检测算法,基于YOLOv7框架提升检测精度与抗干扰能力。首先,设计高效特征提取模块,增强网络对不同尺度与形状目标的感知能力,提高特征表达的丰富性。其次,设计高低维特征融合网络与跨尺度融合模块,优化颈部结构,高效整合多尺度特征,同时降低复杂背景干扰,增强遮挡目标检测能力。此外,结合F-MPDIo U损失函数以降低漏检与误检率。实验结果表明,与YOLOv7基准算法相比,本文方法在恶劣天气数据集DAWN上m AP@0.5提高了4.2%,同时,帧率达到68FPS,满足实时检测需求。在自动驾驶数据集SODA10M进行泛化实验时,m AP@0.5提升3.6%,进一步验证了算法的稳健性。 （2）针对低能见度环境下的目标检测问题,本文提出了一种融合可见光与红外图像的多模态检测算法,充分利用两种模态的互补信息,以提升检测的稳定性与鲁棒性。鉴于可见光图像在弱光、雾霾等复杂环境下难以提供稳定目标信息,本文引入红外模态分支并设计双支路特征提取网络,使两种模态在特征提取阶段进行交互学习,从而强化特征表达。为优化模态融合,本文提出通道感知与空间聚焦融合模块,减少无关干扰信息,避免直接特征拼接导致的信息冗杂问题。此外,设计多模态特征交互模块,在特征提取初期筛选高质量信息,抑制低质量特征,以提升检测的可靠性。实验结果表明,与基准算法相比,该方法在FLIR数据集上可见光与红外模态的m AP@0.5分别提升10.5%和4.6%,在M3FD数据集上分别提升5.2%和2.9%,验证了其在复杂环境下的有效性。 （3）基于本文提出的模型,开发了一套交通目标检测系统,并借助图形界面设计工具将模型配置、图像处理等操作集成到直观简洁的GUI界面,大幅提升用户体验。用户仅需选择检测权重并加载待检测图像,无须复杂的手动操作,即可高效完成行人与车辆检测任务,实现便捷、高效的应用体验。

关键词： 目标检测   交通标志检测   跨尺度特征融合   RT-DETR   剪枝轻量化  

摘要： 交通标志智能实时检测作为智慧交通系统的核心支撑技术,在无人驾驶决策系统与高精度动态地图构建中具有不可替代的战略价值。面对复杂多变的道路场景实时检测需求,尤其是现有DETR模型在复杂场景和小目标检测中的不足,本文提出了两种创新的轻量化目标检测模型:Hyper DMA-DETR和Omni Focus-Hyper DMA-DETR。其内容如下: （1）首先,针对交通标志检测中存在的信息丢失、异构特征交互能力不足、小目标语义表征薄弱及动态场景适应性差等问题,提出了Hyper DMA-DETR模型。该模型通过多尺度三维融合模块（Fusion-MD3S）、多尺度双向融合模块（Fusion-MSRB）、动态多层特征增强注意力模块（DMFA）以及轻量化特征融合的Vo VGSCSP模块,实现对多尺度特征的高效融合与增强,有效解决了小目标特征退化、密集目标误检漏检以及动态场景适应性不足等关键问题。实验结果表明,该模型在TT100k数据集上平均准确率、精度及小目标检测准确度分别提高了10.4%、5.7%和11.1%,显著优于YOLOX-M和RTMDET等主流轻量化模型。 （2）其次,针对强光照、雨雪天气等恶劣条件下交通标志特征易退化的问题,进一步提出了Omni Focus-Hyper DMA-DETR模型。该模型创新性地引入动态范围直方图自注意力机制（DHSA）,通过特征通道直方图排序与双路径注意力设计,有效缓解了光照剧烈波动带来的特征失真问题。同时,引入空间到深度的特征重组卷积（SPD-Conv）和CSP-Omni Kernel模块,结合空间域与频域的联合学习方法,显著增强了复杂环境下模型的鲁棒性。通过层自适应幅度剪枝（LAMP）技术对模型进行压缩优化,使其计算复杂度和参数量显著降低,实现边缘端的高效部署。实验结果表明,Omni Focus-Hyper DMA-DETR模型在增强后的TT100Kaug和CCSTDBaug数据集中,检测准确率分别提高了7%和8.4%,对小目标的检测精度也分别提升了5.9%和5.5%,同时经过剪枝后,模型推理速度提高了约64%,模型大小减少了68%,参数量降低了68%,在精度、鲁棒性和实时性上都优于当前主流方法。 本文提出的模型架构与剪枝优化策略在交通标志实时检测领域具有重要的理论价值与实际应用前景,为轻量化、高鲁棒性视觉检测技术的发展提供了有效参考。

关键词： SAR   深度学习   目标检测   语义分割  

摘要： 合成孔径雷达(Synthetic Aperture Radar,SAR)船舶探测在海洋经济建设、海上运输监管和危机救援等各个领域发挥着至关重要的作用,但由于SAR图像中复杂的背景和相干斑噪声干扰,准确检测和分割复杂海洋背景下的船舶,特别是小型船舶仍然是一个挑战。传统的SAR图像船舶识别方法通常依赖人工干预或需构建复杂的统计模型,且在实际应用中存在检测精度和泛化能力的不足。本文在回顾国内外基于深度学习的SAR图像船舶识别研究成果的基础上,提出了船舶检测识别的新思路。本文围绕不同应用场景下SAR图像的船舶目标检测和语义分割方法进行了理论研究和实验验证。具体研究内容和创新工作如下: (1)在大范围监控船舶的应用场景下,针对SAR图像船舶形态的多样性以及部分船舶目标在图像中占据少量像素导致检测精度较低的问题,本文以YOLOv8为基线模型,在其主干网络中添加本文提出的DASPP模块,该模块采用重参数化膨胀卷积串联策略来提升卷积神经网络提取的共享特征图质量,并通过坐标注意力机制进一步增强检测性能;针对特征融合网络捕获信息有限的问题,提出聚合扩散特征融合网络Fusion Net,该网络结构由两层融合模块Fusion Block组成,通过聚合不同尺度的特征信息,得到丰富语义信息和上下文信息,同时引入残差块CBAM注意力机制,抑制背景噪声,加强船舶目标与复杂背景之间的对比度,使模型更容易区分目标。改进后的模型与原模型相比,在SSDD数据集上的m AP0.5提升了0.8%,m AP0.5:0.95提升了0.7%,在HRSID数据集上的m AP0.5提升了1.1%,m AP0.5:0.95提升了4.9%,说明改进模型适用于复杂背景下对小目标的检测任务。 (2)在船舶精细化轮廓分析应用场景下,针对SAR图像船舶目标在复杂背景下存在边缘模糊以及相似虚假目标干扰导致难以识别的问题,本文以PSPNet为基线模型对船舶目标进行像素级精细化检测,在其主干网络后添加本文提出的Sobel Block模块,通过Sobel算子捕捉图像的边缘特征,与并行的池化分支提取的空间信息结合,可以帮助模型更好地理解图像内容,实现边缘感知;本文提出更加关注边缘信息的金字塔池化网络E-PPM,通过扩大自适应池化尺寸获得丰富的特征信息,并添加卷积层获取精细化特征,再通过边缘增强模块Edge Enhance提高边缘信息的表达能力。在最后的特征分类部分引入Focal Loss损失函数,通过提高目标所在像素的重要程度并减小背景所在像素的重要程度改善了类别不平衡的问题。改进后的模型与原模型相比,在SSDD数据集上的m Io U提高了5.58%,Accuracy提高了0.17%,在HRSID数据集上的m Io U提高了11.24%,Accuracy提高了0.06%,并且FPS满足实时分割任务的需求,说明改进模型在检测精度和效率之间实现了良好的平衡。

关键词： 路径规划   避障   目标检测   D~*Lite算法  

摘要： 基于视觉的机器人路径规划与避障技术对居民区、校园、厂区等封闭固定环境下智能物流、自动道路清扫、安全巡视、小区无人公交等日常活动有着重要的作用。轻量级深度学习模型计算量小且推理速度快,适用于移动端的交通标识检测任务,一些园区环境中存在着交通标志较少或没有的情况,在此类环境下可以通过自设相关标志来实现信息的额外获取从而达到移动的安全。智能机器人只有利用全局路径规划技术才能基本实现无人移动与智能驾驶,同时为了避免其与障碍物之间发生碰撞还需要一个避障算法,因此本文对轻量级深度学习模型进行优化,提高其模型的性能以及对目标检测、图像分类等任务的精度和效率,并针对全局路径规划和避障算法进行了规划效率的改进以及综合利用,具体工作如下: （1）利用搭载在机器人上的传感器对其自身所处空间进行信息的获取,并映射到D*Lite算法的二维地图上。针对D*Lite算法在静态路径规划过程中的节点扩展存在的不足,利用JPS跳点搜索的原理对D*Lite算法进行改进:在D*Lite算法中将跳点加入优先队列,利用JPS算法在该领域的优势替换原有的扩展策略。提高了D*Lite算法的规划效率与成功率;同时针对DWA算法存在的效率不高等问题进行了改进:在DWA算法的基础上将已获取的跳点信息作为避障算法的先验信息,以达到快速避障的目的,最后将改进后的D*Lite算法与改进后的DWA算法进行综合利用,实验结果表明:改进后的算法提高了10%左右的规划速度,20%左右的成功率,在增加局部遍历细节的同时还提高了规划速度。 （2）设计交通标识检测算法,选用YOLOv7-tiny算法,针对该类算法存在性能和精度不高的问题,对其进行改进:在主干网络中添加了CBAM注意力机制模块,来提高该算法对交通标识检测精度与效率,改进后的算法将检测到的交通标识映射到二维栅格地图上并进行定位,接着建立相关地图。为路径规划及避障提供了更为丰富的信息,同时改进后的算法能够搭载到硬件设备上。在交通标识不多的园区环境中可以通过自设标志这一方法来实现对环境信息的进一步获取,实验结果表明:改进后的算法,召回率提升了20%,其他相关指数都有5%左右的提升,使其对交通标识检测的效率与准确性有了一定的提高。 （3）在运用到实际园区环境中时,利用嵌入式知识将所编写的算法进行搭载,同时对硬件设备进行选择与配套使用,并通针对不同的情况进行实验,结果表明:该硬件设备能够满足基于视觉的机器人园区环境路径规划与避障这一任务。

关键词： 目标检测   姿态估计   人员跟踪   行为识别  

摘要： 煤炭行业安全生产形势仍然复杂严峻,如何有效减少在煤矿生产及开采作业中安全事故的发生仍是当前研究的重点。目前,煤矿井下进入到无视频不生产的时代,同时随着互联网技术的快速发展,为紧随煤矿智能化开采的步伐,也由于不安全行为是导致事故发生的主要因素,不安全行为管理也要逐步实现智能化监测,因此将计算机技术运用到不安全行为的监管中,对煤矿的安全生产具有重大意义。本文利用深度学习技术,对矿工是否佩戴安全帽、做出爬车等不安全动作进行检测、跟踪及识别。具体内容如下: 首先,针对煤矿特殊场景具有复杂的环境(光照条件差、粉尘等)且在监控视频上所呈现目标较小较为倾斜等问题,提出一种基于YOLOv8n改进的算法,考虑多尺度融合机制,从整体特征入手,提高对小目标安全帽的检测精度,并提高检测速度达到实时监测的效果。在YOLOv8n原模型的基础上添加SGE注意力机制、Sim SPPF网络结构、小目标检测层和Bi FPN网络,得到最优模型,之后利用开源的数据集CUMT-Helme T进行训练与测试,其中精确度达到91.3%,m AP@0.5达到90%。避免出现误检漏检等情况。 其次,针对煤矿复杂场景,在图像中所呈现图像背景会导致人员检测误检情况,本文在检测器模型的骨干网络中引入EMA多尺度注意力机制,以增强模型对目标特征的聚集能力,降低图像中的干扰因素,提高对人员检测的准确度。通过在数据集上进行训练及测试,最后对模型进行验证,基于YOLOv8n＿C2f＿EMA检测器的跟踪模型相对于YOLOv8检测的跟踪模型,错误的ID切换(IDs)次数减少了24次,MOTP达到了80.61%。 再次,针对煤矿监控视频中人员在不同场所行动而导致的不同尺度的变化,本文在人员识别模型检测人员的基础上,采取Open Pose算法对矿工的关键点进行提取,构成人体骨架图数据,然后利用改进的ST-GCN网络模型对人体骨架图进行训练,输出矿工行为类型,识别的行为动作包括爬车、摔倒、跑步、行走、吸烟、跳车这六类。将ECANet注意力机制加入到ST-GCN模块层的第二层中,利用自制的行为识别数据集进行训练及测试,最后实验表明其平均准确度达到95.16%,之后利用视频进行测试,验证了行为识别的可行性。 最后,设计矿工通用不安全行为识别系统,将上述三个方面学习模型运用到识别系统中,通过系统软件将监测和识别的结果呈现到系统界面上,对视频中的矿工进行安全着装检测、行人跟踪及不安全行为检测,以达到对矿工不安全行为的识别、预警和纠正。 本文利用深度学习技术,针对煤矿特殊环境,构建行为识别模型,其对不安全行为有良好的检测效果。并将不安全行为识别模型运用到可视化检测平台中,实现了对视频数据中的不安全行为检测。这对推动煤矿安全监测技术向智能化方向发展、促进智慧矿山建设具有重要的意义。