关键词： 目标检测   遥感图像   多尺度特征   上下文感知   注意力机制  

摘要： 遥感目标检测是计算机视觉领域中的一项重要任务,在城市建设、交通监控以及精准农业等领域有着广泛的应用。然而,当前遥感目标检测任务仍面临着诸多挑战:目标尺度差异较大,而现有检测网络感受野有限,难以有效捕获并利用不同尺度目标的特征信息;图像背景中存在大量冗余信息,干扰模型目标检测的进行;小目标在模型的处理过程中会丢失关键特征,导致检测精度下降。针对上述问题开展基于多尺度感知和双路注意力的遥感目标检测算法研究,主要研究内容如下: (1)针对遥感目标检测任务中尺度变化及背景干扰问题,提出一种基于多尺度上下文感知的遥感目标检测算法。首先,设计一个多尺度特征提取模块为模型提供多尺度感受野,充分捕获不同尺度目标的上下文信息;其次,提出一种多尺度特征融合模块,充分融合不同尺度的深层特征图及浅层特征图并减少特征信息的丢失;最后,设计一种上下文感知下采样模块,在下采样的同时对不同尺度目标的特征信息进行加权融合,动态调整上下文信息权重削弱复杂背景的干扰。实验表明,该模型在RSOD及DIOR数据集上的m AP指标分别取得2.7%及1.8%的提升,达到97.1%和73.4%,有效应对了尺度变化及背景干扰问题的挑战。 (2)针对遥感目标检测任务中小目标问题带来的挑战,提出一种基于双路注意力的遥感目标检测算法。首先,通过语义收集模块将主干网络中不同尺度的特征图汇聚到网络顶层,对小目标丢失的细节进行补充;其次,设计一种双路注意力模块,为特征图的重要通道分配更高权重,同时使用条形卷积聚焦小目标细节部分;最后,提出一个小目标增强模块,通过高分辨率特征图保留小目标细节并使用空间注意力增强小目标特征。实验表明,该模型在具有挑战性的DIOR数据集上的m AP指标达到74.2%,相较于基线网络提升了2.1%,有效应对了小目标问题带来的挑战。 图[44]表[12]参[81]

关键词： 机载双基地雷达   高速目标   非理想条件   相参积累   目标检测  

摘要： 机载双基地雷达由于收发分置、双平台可独立自由运动,具有机动灵活、适应性强、观测范围广泛等特点,对于提升高速机动目标的积累检测性能具有重要价值。然而,机载收发平台与高速机动目标之间的相对运动会导致距离走动与多普勒走动产生。同时,由于运动误差、时间同步误差等非理想条件的影响,导致机载双基雷达回波包络和相位存在误差,给信号积累检测带来困难。 本文围绕非理想条件下(存在运动误差或时间同步误差)机载双基地雷达信号积累检测问题,进行了模型构建、算法设计、仿真验证等工作,主要内容及创新如下: 1、搭建了运动误差和时间同步误差下机载双基地雷达回波模型,并分析了回波特性。首先,基于三维空间中机载发射平台、机载接收平台以及目标的几何关系,推导了机载双基地雷达系统理想距离历史、仅存在运动误差和同时存在运动误差和时间同步误差下的实际双基距离历史数学方程,进而构建了运动误差/时间同步误差下的雷达回波信号模型,分析了运动误差和时间同步误差对回波信号的包络影响和相位影响。 2、围绕存在运动误差时的机载双基雷达目标信号积累检测问题,研究了一种基于改进RFRFT(Radon-Fr FT,RFRFT)的运动误差补偿与信号积累检测算法;联合搜索多个维度的运动参数,校正距离走动和多普勒走动,并进行运动误差补偿,实现了对多脉冲回波信号的相参积累,便于目标检测。 3、针对运动误差、时间同步误差同时存在下的机载双基雷达目标信号积累检测问题,提出了基于广义Radon变换和改进匹配滤波处理(Generalized Radon Transform-Improved Matched Filtering Process,GRT-IMFP)的信号积累检测算法。该方法不仅补偿了机载收发平台与目标相对运动产生的距离走动和多普勒走动,并同时补偿了机载平台的运动误差和时间同步误差引起的相位差异,进而实现了目标回波信号能量的有效积累。

关键词： 施工安全   深度学习   计算机视觉   智能识别  

摘要： 军事工程施工环境复杂，人员操作频繁，易引发安全事故，影响施工效率。为有效识别和预防安全隐患，提出了一种基于计算机视觉和深度学习的不安全行为智能识别方法。针对施工现场人员和机械目标小、易漏检或误检的问题，改进了YOLOv8算法，并构建专门的多目标检测模型；通过目标检测技术和坐标转换算法，有效识别多种施工安全隐患；对比试验结果表明，改进模型在3种常见施工数据集上的平均识别精度分别提升了7.06%、14.32%和5.32%。

关键词： 计算机视觉   关系检测   多模态大模型   大语言模型  

摘要： 交互关系检测旨在定位“人-物”对或者“物-物”对并识别其交互类别,在辅助机器人、视频分析等计算机视觉应用中发挥关键作用。在静态场景中,交互关系检测的典型应用是开放词汇“人-物”交互关系识别,而动态场景下则聚焦于时序维度上的交互行为捕捉与识别。本文对不同场景下的交互关系检测方法展开研究,主要贡献概括如下: (1)提出基于分层粒度对比的开放词汇“人-物”交互关系检测方法。最近开放词汇交互关系检测方法主要通过大型语言模型来生成类别描述为模型提供语义信息,并利用从多模态大模型(如:CLIP)中提炼的知识来识别训练集中的未见类别。尽管这些方法很有效,但它们仍然面临两个挑战:a.特征粒度不足,因为依赖CLIP最后一层的视觉特征进行文本对齐,从而忽略了中间层的关键对象级细节信息;b.语义相似性混淆,这是由于CLIP对某些类别固有的偏置,导致基于标签生成的类别描述无法充分捕捉类间相似性。为了应对这些挑战,本文提出了一个开放词汇设置下的分层粒度对比方法。具体来说,该方法首先引入一个粒度感知对齐模块,将预训练的视觉-语言模型的全局语义特征与局部细节聚合在一起,细化交互关系的表示并确保中间层视觉特征和文本嵌入之间的鲁棒性对齐。其次,开发了一个级联式分组比较模块,该模块使用大语言模型递归式分组比较语义相似的类别,为每个交互类别生成细粒度且有判别性的描述。最后,在两个广泛使用的基准数据集SWIG-HOI和HICO-DET上的实验结果表明,该方法方法取得了最佳效果。 (2)提出基于去噪去偏的动态场景下交互关系检测方法。现有的动态场景下交互关系检测方法通常存在以下几个问题:a.上下文噪声,因为某些视频帧可能包含被遮挡和模糊的物体对象,这些因素会严重干扰模型的动作识别能力。b.标签偏置,主要是由于少数正样本和大量负样本之间的高度不平衡以及交互关系类别的分布呈现长尾模式。为了解决上述问题,本文中提出了一个名为去噪去偏的动态场景下交互关系检测方法,旨在对动态场景下交互关系检测过程中消除噪声和缓解偏差问题。具体来说,首先提出了一个去噪的时空转换器模块。该模块设计一个可微分的Top-K对象选择器和时空消息传递来实现鲁棒的对象上下文信息增强。特别地,该选择器利用Gumbel-Softmax采样策略为每个对象选择相关的邻域。其次,引入了非对称重加权损失函数来缓解标签偏差问题。该损失函数集成了非对称聚焦因子和有效样本数量来调整分配给单个样本的权重。实验结果表明,该模型优于Action Genome数据集上现有的最先进方法。

关键词： 生成对抗网络   数据增强   自注意力机制   多域任务   风格转换   深度学习   计算机视觉  

摘要： 近年来,深度学习在图像分类、目标检测及图像生成等多个任务中取得了显著的成果。然而,深度学习模型的训练通常需要依赖大规模且高质量的标注数据。在实际应用中,由于数据获取困难、标注成本高昂及隐私保护等问题,许多场景中的训练数据难以满足模型需求,尤其在多域图像分类任务中,多域模型需同时处理跨领域、多类别数据,而这些数据的分布差异使得模型在泛化能力方面面临更大的挑战。因此,如何有效地获取多样化的训练数据,尤其是跨领域的多域数据,成为一个亟待解决的问题。 生成对抗网络(GAN,Generative Adversarial Network)作为一种生成模型,通过对抗式训练有效拟合真实数据分布并生成高质量样本,为数据增强提供了重要支持。在一些图像生成任务中,GAN的表现极大地缓解了数据不足问题,尤其在数据稀缺或者难以获取标注数据的情况下,GAN能够生成高质量的合成数据,用于增强训练数据集。然而,现有的GAN方法在多域风格转换任务中常面临生成质量不佳、风格转换不准确的问题,特别是在处理复杂场景的风格转换时,生成图像往往丢失对应风格关键的细节和一致性。 为了解决这些问题,本文提出了一种结合自注意力机制的多域GAN的改进方法,旨在提升生成图像的质量并增强风格适应性。自注意力机制在捕捉局部特征和增强图像质量方面取得了良好效果,但其在多域风格转换任务中的适用性仍然有限,尤其是在处理复杂风格差异时,单一自注意力机制可能忽视风格转换过程中细节的保持,导致生成的图像在风格一致性和质量上表现不佳。为此,本文设计了一种适应性自注意力模块并引入多域GAN中,使其能够根据目标风格域动态调整最适配的自注意力机制,从而更有效地捕捉跨域特性。实验结果表明,该模块显著改善了多域GAN图像转换任务的性能,在保持图像质量的同时,有效提升了不同风格域之间的转换效果。 此外,在服装域风格转换任务中,传统的GAN在进行图像风格转换时,往往会忽视图像中人脸区域的细节特征和一致性保持,导致生成图像出现面部失真问题。针对这一挑战,本文提出了一种基于人脸特征保真的损失函数。该损失函数通过约束生成器在风格转换过程中对人脸区域的细节保持和特征一致性,显著提升了生成图像的人脸保真度。实验结果显示,提出的方法在生成过程中能够有效保留人脸的细节和身份一致性,特别是在服装风格转换时,人脸部分表现尤为优异。 通过上述方法,本文有效缓解了当前多域图像风格转换任务中生成图像的风格适应性不足、质量欠佳及人脸特征丢失问题,为生成对抗网络在多领域应用中的进一步发展提供了新的思路和方法,推动了生成对抗网络在多领域应用中的进一步发展。

关键词： 计算机视觉   目标检测   EfficientDet   火焰切割   反枪  

摘要： 连铸坯切割过程中出现的未切透情况严重影响生产顺行，“反枪”现象则被作为判断是否未切透的标准，依靠工人肉眼监测存在劳动强度大和漏判的问题。本文提出并实现一种基于EfficientDet目标检测算法的连铸坯切割反枪检测方法，实现了对反枪现象的实时自动化检测。实验结果表明在建立的反枪目标检测数据集上训练后的EfficientDet-D2模型精确率(Precision)达到97.87%,召回率(Recall)达到92.00%,平均精度均值(mAP)约97.76%,将该方法现场部署后，有效提高了连铸生产自动化监测水平。

关键词： 深度学习   安检危险物品检测   注意力机制   目标检测  

摘要： 如今的公共交通体系里,乘客数量不断攀升,安检系统承受的压力与日俱增。目前,安检主要依靠人工检查,这种方式不仅会受到人力资源的制约,还会受到安检人员疲劳因素的影响。在工作强度较高的环境下,容易引发漏检或误检的状况。深度学习的目标检测方法,能够高效、精准识别与分类图像中物品,正逐步应用于违禁品识别领域。本文从安检图像中重叠违禁品检测、安检图像中小目标的检测以及安检模型的轻量化方法三个角度进行了深入研究。本文依据改进的违禁品检测模型,设计并成功实现了一套违禁品辅助识别系统,旨在满足实际应用场景中的需求。具体研究内容如下: 1)针对安检图像识别时重叠违禁品检测精度欠佳的问题,本文提出了改进的重叠违禁品检测模型MAM-YOLO。首先,研究设计了一种多注意力模块,该模块通过注意力处理机制,结合自适应路由策略,增强目标检测算法对重叠物体的定位能力,进而提升检测准确率。其次,针对安检图像中违禁品存在重叠的状况,提出排斥损失函数Repulsion Loss,有效减小预测框和真实框间的偏差,提升检测的准确性和可靠性。最后,通过实验对比,相较于基准模型YOLOv8n,mAP提升了2.4%,验证了模型的有效性。 2)针对小目标检测精度低问题,提出改进的FC-YOLO小目标违禁品检测模型。一是构建多尺度分层特征融合的四路检测框架提升小目标识别能力;二是在C2f模块引入CBAM注意力机制构建C2f-CBAM模块,强化关键特征提取效果。通过实验验证模块有效性,在OPIXray和Hi Xray数据集上,FC-YOLO的m AP较YOLOv8n分别提升了2.8%和3.2%。 3)针对于安检图像识别时,因模型参数量多、计算量大而无法实际应用的状况,构建了轻量化TPC-YOLO模型。在主干网络中设计并运用基于异构与分组模式的三路径并行卷积结构,同时引入轻量级注意力模块提升准确率。实验结果表明,改进后的模型性能优异,在没有GPU加速的情况下,检测准确率达89.9%,速度为10.32FPS,满足安检工作对准确率和实时性的需求。其次,设计并实现了基于Pyqt5的安检违禁品辅助识别系统,搭建的检测系统能满足检测可视化的需要。

关键词： 无人机编队轨迹规划   深度强化学习   目标检测   感兴趣区域   无人机边缘计算  

摘要： 近年来,无人机技术在军事与民用领域的快速发展引发了广泛关注,其应用范围已从物流配送、灾害救援扩展至城市交通管理、军事侦察等多个重要场景。无人机编队可协同覆盖更大的地理区域,获得更完整的侦察信息,成为当前重要的发展趋势。为了完成协同侦察等任务,高效的轨迹规划和精准的视频数据回传至关重要。轨迹规划层面,采用人工势场与群体智能的传统策略难以有效应对三维空间中的动态避障及多无人机协同的局部最优难题,同时,现有的深度强化学习(Deep Reinforcement Learning,DRL)算法亦存在训练收敛速度缓慢、生成的轨迹存在振荡等不足。视频数据回传方面,全视频流回传方式对传输带宽要求过高,且传统的云端处理模式因延迟过大,难以满足实时处理的需求。针对上述无人机编队面临的问题与挑战,本文主要研究内容包括: (1)针对无人机编队在复杂三维动态环境中面临的避障与协同规划稳定性和轨迹平滑性较差的问题,提出一种基于SPER-TD3(Sum Tree Policy Exploration and Regulation with Twin Delayed DDPG)的无人机编队三维轨迹规划方法。传统方法在动态障碍物适应性与多机协同稳定性方面存在显著局限,难以应对低空密集场景的实时需求。本研究通过融合优先经验回放机制与改进TD3网络架构,优化了训练过程的稳定性与策略探索效率。结合虚拟领航者动态控制与轨迹平滑约束,实现了编队队形的灵活调整与轨迹的连续优化。实验验证表明,该方法在轨迹安全覆盖率、飞行路径平滑度、成功率、奖励大小等方面综合表现优于8种主流的深度强化学习算法,其重要性综合评估值比当前方法提升8.5%-72.9%不等,并且在多种障碍物环境下显著提升了规划效率与编队协同鲁棒性。 (2)针对无人机视频回传的带宽受限的问题,提出一种基于目标检测与动态区域筛选的无人机感兴趣区域(Region of Interest,ROI)选择与回传融合方法。传统全视频流回传模式因回传视频带宽数据过大易导致带宽资源浪费与关键信息丢失,本研究通过轻量化目标检测算法实时定位视频中的高价值区域,结合自适应感兴趣区域对关键信息进行精准提取,回传视频无线链路带宽峰值降低达50%,显著降低了无线链路的传输负载。 (3)针对无人机边缘端通信受限与实时性需求之间的矛盾问题,设计并实现一个边缘计算场景下的目标检测软件。传统云端处理方案因高延迟难以满足动态场景的即时响应需求,本研究通过集成模型加速引擎与流媒体传输协议,在边缘设备上实现了高效的目标检测与关键数据低延迟回传;同时,基于QT界面构建了可视化管控模块,支持实时参数配置与带宽效能分析。实验结果表明,系统在真实场景测试中展现出优异的鲁棒性与实用性,为无人机集群在交通调度、军事侦察等场景的实地部署提供了可靠的技术方案。

关键词： 粮仓机器人   目标检测   视觉模型   三维空间定位   PID控制  

摘要： 随着科技的不断进步,智能化设备在农业生产中的应用日益广泛。在粮食仓储领域,平粮作业的智能化成为提升效率、保障粮食安全的关键环节。针对现有粮仓机器人智能化不足,仓内定位不准确问题,本文结合3D视觉检测与自主控制技术,提出一种基于螺旋驱动式粮仓机器人引导平粮系统,实现复杂粮仓环境下的精准检测与高效平粮作业。 首先,本文设计了一套融合视觉检测与运动控制的引导平粮作业系统。基于引导控制与自动平粮控制策略,通过引导系统的Real Sense D455深度相机与Jetson Orin Nano控制开发板的硬件架构,结合Python语言开发的目标检测与三维定位算法,实时获取粮堆空间位置信息,并将信息转化为机器人的目标运动速度,通过串口与控制系统建立实时数据交互链路,经过控制系统的运动解算与实时反馈,实现准确的机器人运动控制,完成引导平粮任务,为复杂粮面环境下的动态作业提供视觉解决方案。 其次,针对粮堆识别与定位难题,提出基于深度学习的视觉识别方法,提高机器人在复杂粮仓环境中的自主寻找目标的能力。通过对比分析主流目标检测模型,选定YOLOv9作为核心算法,其可编程梯度信息(PGI)机制与广义高效层聚合网络(GELAN)结构显著提升了检测精度,可实现粮堆的高精度识别。经过图片预处理制成数据集,对模型加以训练,训练后模型平均精度均值(mAP)达到97.7%,置信度为0.909。同时结合坐标转换原理与相机标定,完成粮堆的三维空间定位,获得机器人与粮堆的相对位置。经试验验证,定位的均方根误差为0.055 m,有效支撑机器人自主引导与平粮作业规划。 最后,为适应在粮仓作业的运动控制,提出了面向松散粮面的自适应控制算法。提出基于PID算法的动态路径优化方法,通过实时调整机器人运动参数,提升其在复杂粮面的行驶稳定性与坡度适应性。实验表明引导控制平均距离偏差为0.306 m,平均航向偏差为3.55°,表明该算法具有较高的精度。通过自动爬高平粮算法,通过不断寻找高点进行旋转运动,利用粮食本身的流动性,完成高效平粮作业。经过该算法处理后,粮堆的最高点为0.116 m,最低点为0.026 m,最大高差为0.139 m,平整度达到3.18,粮堆的高度分布得到了显著的均匀化。研究成果为粮仓机器人智能化升级提供了技术参考,提升了平粮作业的自动化水平与安全性。