关键词： 目标检测   遥感图像   多尺度特征融合   特征增强   全局语义信息  

摘要： 近年来,遥感图像的分辨率和覆盖面积都得到了显著的提升,分析遥感数据已成为获取地球表面信息的重要手段。遥感图像目标检测作为遥感数据处理的重要环节之一,在交通管理、城市规划和资源勘察等领域具有广泛的应用价值。然而,与自然场景图像相比,遥感图像捕捉到的各种地面物体信息更为复杂,这导致现有目标检测模型在遥感图像中的应用仍存在精度不足的问题。针对遥感图像目标检测任务中多尺度目标难以检测、背景噪音大以及方向各异目标导致漏检的挑战,本文采用多尺度特征融合网络、注意力机制和膨胀卷积技术,提出了一个基于语义信息驱动和多尺度特征融合的遥感图像目标检测模型和一个基于特征增强的遥感图像旋转目标检测模型。本文的主要贡献包括如下三个方面: (1)针对遥感图像背景噪音大和多尺度目标难以检测的问题,提出一个基于语义信息驱动和多尺度特征融合的遥感图像目标检测模型SMSF-Net。首先,设计全局语义信息挖掘模块,通过从深度特征图中捕获高级信息,引导网络区分噪音和目标信息;其次,提出多维自适应集成模块,通过多尺度特征对齐和自适应特征融合解决特征混淆的问题;随后,将多维自适应集成模块与聚集和分散机制结合,设计具有四检测头结构的多尺度选择性特征融合网络。经实验表明,SMSF-Net在DIOR数据集和SIMD数据集上分别获得了72.6%m AP 0.5和82.2%m AP 0.5,在检测具有复杂背景和多尺度目标的遥感图像上表现卓越。 (2)针对遥感图像目标检测在识别方向各异的目标时存在目标特征丢失和有向信息不敏感导致目标漏检的问题,设计一个基于特征增强的遥感图像旋转目标检测模型FE-Net。首先,提出基于多阶段特征交互和可变形卷积的特征增强网络,该网络引入多阶段特征交互思想,用于减轻浅层特征图目标特征被深层特征图淹没的问题,设计基于LDConv的特征融合模块,提升网络捕获目标有向信息的能力;其次,设计基于方向感知增强的有向目标检测头,增强模型捕获目标上下文信息、全局特征和细节特征的能力,改善模型的检测性能。实验结果表示,FE-Net相比YOLOv8n在DIOR-R数据集和HRSC2016数据集上分别提升了1.5%m AP 0.5和3.1%m AP 0.5,在车辆、船舶、飞机等具有较强方向信息的目标上有出色的检测结果。 (3)设计并实现一个遥感图像目标检测系统原型,以说明所提出模型的应用场景。该系统以SMSF-Net和FE-Net为核心检测模型,用户上传待检测图像后,系统后台调用遥感图像目标检测模型进行在线识别,并生成检测结果分析报告。

关键词： 钢轨表面伤损   深度学习   目标检测   YOLO算法   知识蒸馏  

摘要： 铁路作为国家的重大基础设施,是促进经济和社会发展的重要支柱,钢轨是支撑和引导列车运行的关键部件,在保障列车平稳运行方面发挥着至关重要的作用。然而,钢轨表面会因车轮摩擦和振动冲击出现伤损,引起列车晃动、加剧磨耗,甚至引发钢轨断裂,严重威胁行车安全。因此,及时、准确地检测钢轨表面伤损并有效控制其恶化,是确保铁路安全运行的关键。本文通过收集钢轨表面伤损图像构建深度学习数据集,并针对钢轨表面伤损的特点,设计了相应的深度学习目标检测算法。主要成果如下: (1)针对现有钢轨表面伤损公开数据集不足的问题,构建数据集。收集钢轨表面图像,经过数据清洗、数据标注和数据增强,构建包含钢轨光带、钢轨鱼鳞纹、钢轨踏面斜裂纹和钢轨侧磨的四分类数据集RSD-4(Rail Surface Damage-4)以及仅包含钢轨剥离掉块的单分类数据集RSD-S(Rail Surface Damage-Spalling)。 (2)针对数据集RSD-4中大尺度伤损较多且尺度变化较大的特点,设计基于改进YOLOv8n的目标检测算法。首先,将C2f结构与三重注意力机制结合,设计新型特征提取模块C2f-TA,扩大特征图的感受野。再结合语义与细节注入模块和三重特征编码模块,设计新型多尺度特征融合Neck结构,实现四个不同尺度特征信息的有效融合,增强特征图的语义和细节信息。最后,使用尺度序列特征融合模块和通道与位置注意力机制构建新型小尺度目标检测分支,借助通道和局部注意力机制,增强小尺度目标的特征表达。结果显示,相较于基准YOLOv8n算法,改进算法在兼顾算法性能的前提下有效提升了各个检测精度评价指标。 (3)针对数据集RSD-S中伤损尺度较小且密集分布的特点,设计基于知识蒸馏的目标检测算法。教师模型基于YOLOv8m算法,在损失函数CIoU的基础上设计加入小尺度目标加权项的CIoU+,提升对小目标的关注度;其次,引入动态检测头模块,动态地生成偏移量;最后,加入动态上采样模块对每个采样点的位置进行自适应调整。结果表明,相较于基准算法YOLOv8m,教师模型在各个检测精度评价指标上都得到较大提升,但算法性能下降较多。学生模型基于YOLOv8n算法,除了加入CIoU+和动态检测头模块外,还设计了CSPPC模块,通过对特征张量进行部分卷积操作,有效提升了算法性能。知识蒸馏使用基于响应和特征相结合的训练方式,进一步提升了学生模型的检测精度。

关键词： 智能驾驶   环境感知   目标检测与跟踪   多传感器融合  

摘要： 在复杂多变的道路环境中,精准的目标检测与跟踪技术是实现智能车辆自主驾驶、碰撞预警以及路径规划等关键功能的基础。目前,多传感器融合在目标检测与跟踪方面存在一定不足,本文以车载视角感知到的车辆为研究对象,优化单一传感器的感知算法并设计合理的融合策略,实现相机和毫米波雷达优势互补,对于提升目标检测与跟踪的精度和可靠性具有重要的意义。主要研究内容如下: (1)基于视觉的目标检测与跟踪算法研究。为了适应复杂交通环境下感知场景,提升检测精度降低计算复杂度,本研究构建了一种以优化YOLOv10框架为核心的智能车辆目标检测算法,构建了基于多尺度灵活卷积的C2f模块,重构颈部网络层级结构并改进检测头,实验结果表明改进的YOLOv10模型大小压缩至13.4MB,减少11.8%,检测精度m AP@0.5达到93.0%。在改进检测模型的基础上,本文提出了基于Byte Track的目标跟踪算法,实验表明,多目标跟踪准确率达83.25%,提升3.0%,跟踪定位精度提升至85.43%,提升5.1%,身份切换次数降低至238次,减少8.1%,验证了检测-跟踪联合优化方案的有效性。 (2)基于毫米波雷达的目标检测与跟踪。本研究分析了毫米波雷达的工作原理并针对其回波信号进行了初始数据的筛选,建立了基于的DBSCAN聚类算法。设计了多目标跟踪流程,包括建立符合车辆运动特性的恒定转弯率和速度运动学模型,并基于联合概率数据关联进行目标关联,该模型应用扩展卡尔曼滤波进行目标跟踪。为评估算法性能,基于MATLAB对毫米波雷达跟踪流程进行仿真,结果表明拓展卡尔曼滤波器能实现对道路车辆实时有效跟踪,验证了跟踪框架的有效性。 (3)基于相机和毫米波雷达融合的目标检测与跟踪。实现了毫米波雷达和相机时空对齐并确立毫米波雷达的感兴趣区域。设计了一种基于动态权重约束的决策级融合策略进行决策判断。基于机器人操作系统的融合框架,利用nu Scenes数据集对融合算法进行验证,并设计了基于校园场景的实验方案,分别对白天和夜晚等实验场景进行融合算法的验证。实验结果标明,本文设计的融合策略能优于改进前融合策略,实现了更优的检测与跟踪。

关键词： 汽车轮胎   胎面缺陷   图像处理   检测算法   系统实现  

摘要： 随着全球汽车工业的蓬勃发展和道路交通流量的持续增长，汽车轮胎的安全性问题日益成为公众关注的焦点。特别是轮胎胎面的缺陷检测，直接关系到行车安全，其重要性不言而喻。传统的轮胎缺陷检测方法不仅效率低下，而且在准确性方面存在明显不足，难以满足现代交通对安全性的高要求。本文研究一种既高效又准确的汽车轮胎胎面缺陷检测系统，以大幅提升检测效率，确保检测结果的准确性。

关键词： 海杂波抑制   目标检测   深度学习   CNN-LSTM   GAN网络  

摘要： 随着“21世纪海上丝绸之路”倡议的深入推进,海洋空间信息感知能力成为各国竞相发展的关键领域。雷达作为海上目标探测的主要手段,在海洋作业中占据重要地位。然而,复杂的海杂波干扰严重制约了雷达的探测性能,导致目标检测面临诸多难题,如目标信号易被杂波淹没、高海况下虚警率高等。传统海杂波抑制和目标检测技术,或依赖精确建模,或处理流程复杂,难以满足日益增长的海洋探测需求。因此,研究高效可靠的海杂波抑制与目标检测方法,对保障海上运输安全、海洋环境监测以及海上防御等具有重要的现实意义。本文针对复杂海况下雷达探测难题,引入深度学习方法,借助神经网络学习杂波特征,将目标信号从背景杂波中恢复出来。本文的主要工作和研究内容如下: 首先,研究了海杂波的形成机制和常用分布模型,借助实测数据集分析海杂波特性,发现K分布对复杂海况拟合效果相对较好,但仍无模型能完全契合实际海面回波。同时,研究了恒虚警率、循环对消、奇异值分解与分数阶傅里叶变换等经典海杂波抑制算法,经实验验证,这些传统方法虽有一定成效,但受海杂波复杂特性制约,存在一定的局限性。 其次,鉴于传统方法的不足,提出基于CNN-LSTM-PCA的海杂波抑制检测模型。该模型结合CNN和LSTM处理时变特征的优势,有效学习海面散射特征,滤除杂波并凸显目标信号。在此基础上,引入PCA进行目标检测,显著降低虚警率,提升检测性能。实验结果表明,该模型在信杂比提升和虚警控制方面表现良好。 最后,针对近海强杂波影响雷达检测效果,提出一系列基于二维图像特征的海杂波抑制与目标检测创新方法。基于WGAN-GP-PCA的杂波抑制和目标检测方法,将雷达回波数据转化为图像进行处理,利用WGAN-GP网络有效抑制背景杂波,提升目标信杂比,结合PCA进行目标检测,在降低误报方面效果显著。基于Style GAN-GP的PPI图像杂波抑制方法,通过构建相应模型学习海杂波的风格特征,能够有效抑制图像中的海杂波,保证了目标完整性,训练过程稳定可靠。改进的YOLOv11算法,通过添加ASF和Dysample算法,显著提升对多尺度目标的检测能力,在P显图像目标检测中,精确率、召回率和平均精度均大幅提高,为复杂海洋环境下的雷达目标探测提供了轻量化方案。

关键词： 高差测量   图像处理   目标检测   运动控制  

摘要： 环形桁架网状天线作为大型空间可展开天线的典型代表,是卫星载荷系统中的关键组成部分,在地面组装、试验和测试中,一般将天线校准至水平状态,进行重力卸载以模拟其在太空中的零重力环境。在卸载过程中需进行桁架各单元特定节点的高差测量,从而判定天线是否已校准至水平状态。目前桁架节点高差测量采用人工进行读数、数据处理和水平状态判定,后续调节录入数据也需人工完成,效率较低且易出错。为提高测量效率,本文将传统高差测量方法与视觉测量方法相结合进行测量系统设计,实现大尺寸桁架节点高差的快速自动测量,为后续自动化数据处理及应用奠定了基础。本文的主要工作内容如下: (1)设计了将传统高差测量方法与视觉测量方法相结合的大尺寸桁架节点高差测量系统。该系统包括目标尺面及其悬挂机构、带有电子目镜的全站仪以及计算机。 (2)综合考虑测量系统精度、被测节点编号、目标尺轻量化、悬挂基准以及尺面指向性等需求设计了节点处悬挂目标尺。首先,提出了两种尺面方案并进行尺面以及尺长设计;其次,根据节点处悬挂接触面特点进行目标尺悬挂机构设计;最后,提出目标尺标定方法。 (3)研究了基于图像处理的刻度尺面和编码尺面读数算法。首先,针对刻度尺面,进行图像预处理,突出尺面有效信息;基于亚像素灰度波谷定位、黑色像素数目统计、OCR识别和先验知识进行刻度判读,实现刻度尺面特定位置读数。其次,针对编码尺面,在完成图像预处理的基础上,基于Canny算子和Zernike矩方法设计了粗精结合的编码尺面条码亚像素边缘检测算法,实现条码识别以及像素当量计算;利用编码对比识别方法,获取对应码区中心位置读数值;基于码区中心读数值和像素当量实现编码尺面特定位置读数。实验表明,相比于刻度尺面,编码尺面读数算法更稳定。 (4)完成了多节点高差测量系统软件设计。首先,根据全站仪控制特点以及编码尺面特点,设计全站仪运动控制算法以及基于HSV颜色空间的目标检测定位算法,实现节点处目标尺图像自动照准采集;其次,集成用于编码尺面读数算法,实现节点编号、相对高度以及高差计算;最后,设计人机交互界面实现了节点高差测量并显示。 (5)完成了高差快速测量系统测试实验。首先,进行系统功能测试;其次,验证不同视距下高差测量系统稳定性以及精度。实验以及系统测试结果表明,测量系统功能完整,节点切换时间小于3秒,单节点测量时间小于0.5秒,重复精度可达0.0411 mm,测量误差小于0.0857 mm,测量速度、精度及稳定性均满足亚毫米级位形精度的环形桁架节点高差测量要求,实现了节点高差自动化快速测量。

关键词： 遥感目标检测   YOLO   轻量化算法   特征融合   上下文信息  

摘要： 随着遥感信息技术的快速发展,遥感图像目标检测的性能有了显著的提升,在军事和民用领域有着巨大的应用价值。目前研究大多采用巨大的参数量来提高实验精度却忽略了部署困难,一些遥感设备急需轻量化算法,同时遥感图像中目标具有小目标较多且分布密集的特点,这给检测带来了很大的困难,如何高效且精确的检测出遥感图像中的目标是一个公开且具有挑战性的问题。 本文基于YOLO框架研发遥感目标检测轻量化算法,主要研究工作如下: (1)针对轻量化和遥感图像中小目标问题,基于YOLOv8s网络设计了一种基于多尺度特征融合和上下文信息的轻型遥感目标检测网络。首先,提出基于注意力机制的轻量化特征提取模块,通过部分卷积计算和注意力机制达到减少参数量和计算量的同时提高特征提取能力,其次,设计了门控空间金字塔模块增强模型对于尺度和上下文信息的感知能力,增强感知上下文信息,提高小目标检测能力,最后,采用了多尺度融合轻量级模块进行更有效的多尺度特征融合,避免小目标的丢失,整体模型相较于YOLOv8s参数量为10.26M降低了7.7%,FLOPs降低了11.9%,在两个遥感数据集NWPU VHR-10和VisDrone上mAP分别达到94.1和40.6,实验结果表明与其他基线模型和最新YOLO模型相比,该网络具有计算成本低,检测精度高的优点。 (2)针对遥感目标检测任务中极端资源受限场景,提出一种基于特征增强和内容感知的轻量化遥感目标检测网络。在资源受限的环境如星载计算单元和低功耗无人机平台中,高分辨率图像的处理对模型的实时性提出了严峻挑战。基于特征增强和内容感知的轻量化遥感目标检测网络引入多尺度特征增强模块,通过多分支结构提高小目标检测能力,此外采用内容感知特征重组模块,优化特征上采样策略,以提升特征表达能力。该算法的参数量仅2.67M,实验结果表明,在NWPU VHR-10和VisDrone数据集上的mAP分别达到89.3和33.0,在减少计算开销的同时,能够有效提升遥感目标检测的准确性和实时性,为资源受限环境下的遥感图像目标检测提供了一种高效的解决方案。

关键词： 图像处理   生成图像水印   潜在编码   潜在扩散模型   变换域  

摘要： 如今,越来越多的国家重视人工智能生成内容的监管,并要求在人工智能生成内容中加入显式或隐式标识以表区分,在生成图像中添加显式或隐式水印进行标识是主要手段之一。已有的生成图像水印算法通常基于频率域或潜在空间变换域进行设计,但仍然存在图像质量和鲁棒性关系平衡困难,生成模型与水印算法耦合性弱,水印算法泛化能力差等问题。针对这些问题,本文提出了基于交叉注意力的多尺度自适应水印算法,并在此基础上提出基于潜在编码的抗屏摄图像生成模型水印算法,实现了在潜在编码空间中水印嵌入和生成模型的融合,并且设计实验验证了水印算法在面向多任务生成模型时具有较好的泛化能力。本文的主要工作如下: (1)针对传统水印算法在图像质量和鲁棒性之间难以平衡的问题,本文提出了一种基于交叉注意力的多尺度自适应水印算法(Multi-Scale Adaptive Watermarking Algorithm Based on Cross-Attention,MSAW)。该算法中通过离散余弦变换系数调制水印信息,提高含水印图像的质量;同时,将多尺度水印信息注入水印编码过程,使得含水印图像在等比缩放后仍保持95%以上的解码准确率;其次,水印和载体图像结合交叉注意力机制动态调整水印强度,显著提升了含水印图像的质量与抗攻击能力。此外,在训练过程中采用噪声层模拟攻击,在复杂失真时仍保持90%以上的解码准确率,含水印图像PSNR高于40d B,优于其他鲁棒水印方法。 (2)针对生成模型与水印算法耦合性弱以及面向屏幕拍摄时水印鲁棒性较差的问题,本文提出了一种基于潜在编码的抗屏摄图像生成模型水印算法(Watermarking Algorithm for Anti-Screen-Shooting Image Generation Based on Latent Encoding,WASIG)。该算法通过微调扩散模型的潜在空间解码器,嵌入固定模型水印序列,同时在微调过程中引入关联损失增强水印的鲁棒性,确保生成图像的质量和多样性不受影响;其次,结合潜在编码特征在潜在编码中灵活嵌入水印信息;最后,为了提升水印对屏幕拍摄等几何失真的鲁棒性,引入了可微屏摄失真模块进行训练。实验表明,该算法水印解码准确率在标准拍摄场景下仍能达到80%以上。 (3)针对生成图像的水印算法泛化能力较差的问题,本文面向多任务生成模型对水印算法WASIG进行泛化分析。在文本生成图像、图像编辑、图像修复以及超分辨率生成模型中的应用验证了WASIG泛化性能。实验表明,WASIG算法不仅能够在不同任务中保持图像多样性,还能有效抵抗复杂攻击,展现出良好的实用性和鲁棒性。此外,FID指标分析显示,WASIG生成的图像在多样性和真实性方面接近真实图像,进一步验证了其在生成模型中的适用性。

关键词： 三维重建   RGB-D传感器   目标检测   深度学习  

摘要： 在动态室内环境中,移动机器人需具备动态目标感知能力以识别人员、宠物及其他移动物体等干扰目标。针对传统三维重建算法在动态场景中因运动物体干扰导致重建精度下降的问题,本文研究了基于彩色深度(Red Green Blue-Depth,RGB-D)视觉传感器的动态场景室内三维重建技术,利用目标检测模型联合几何约束对动态物体(如行人、宠物)进行目标检测和剔除,有效提高动态场景下三维重建的精度,保障后续作业流程的可靠性。具体研究内容总结如下: 1.针对复杂场景下传统目标检测网络存在的特征提取能力弱以及传统标签分配策略导致的效率低等问题,本文提出一种基于多尺度特征提取和双重标签分配策略的目标检测模型。首先构建由旁路卷积模块、深度可分离卷积模块和C2f模块组成的多尺度混合卷积网络模块,增强了目标检测网络模型的特征提取能力;其次设计双重标签分配策略,在训练阶段为模型提供更丰富的监督信号,保证模型检测精度,同时有效提高模型运行效率。在PASCAL VOC2012数据集上的实验表明,所提目标检测模型相较于同类工作具有更优的检测性能。 2.针对传统几何约束方法对复杂场景动态特征判别能力不足以及基于深度学习的方法易误删静态特征导致位姿估计失效的问题,本文提出一种联合目标检测与几何约束的动态特征剔除方法,通过联合目标检测的语义信息和对极几何约束的几何信息,改善了动态特征剔除效果。在TUM数据集上的实验表明,所提方法使得视觉三维重建系统在动态场景下的轨迹误差优于同类工作,显著提升了视觉三维重建系统在动态环境中的鲁棒性和精准度。 3.研究了基于RGB-D的动态环境下室内三维重建技术,构建基于RGB-D视觉传感器的三维重建系统。首先利用RGB-D视觉传感器获得重建场景的彩色图像信息和深度信息,基于机器人操作系统(Robot Operating System,ROS)实现RGB-D传感器与三维重建系统之间的数据传输,并基于动态特征剔除算法得到的信息,进行位姿估计和稀疏地图构建,随后进行闭环检测,最后利用目标检测信息排除动态目标对稠密建图的干扰,得到静态的稠密地图,并通过三维可视化平台对稠密建图结果进行了展示。