关键词： 遥感图像   目标检测   深度神经网络   网络剪枝  

摘要： 合成孔径雷达(Synthetic Aperture Radar,SAR)凭借其全天候成像优势,以及随着星载及机载SAR系统在成像质量与覆盖能力方面的持续突破,使SAR图像在军用、民用领域得到了广泛应用。然而,作为边缘计算平台,星载及机载SAR系统往往受限于多维度的资源约束条件,包括但不限于有限的计算吞吐量、受限的存储容量、能源供应瓶颈以及通信带宽制约,与目标检测网络日益增长的参数量与计算量需求之间的矛盾不断凸显。 本文以解决目标检测模型在边缘设备上面临的计算、存储等资源受限问题为目的,针对现有网络剪枝算法的参数重要程度评估准则的准确性较低、网络存在冗余计算等问题开展了研究工作并取得了一定成果,提出了新的剪枝准则,并优化了目标检测模型的网络结构设计,同时在多个数据集上验证了方法的有效性。主要工作可归纳如下: 1.针对目前网络剪枝研究中存在的参数重要程度评估准则的准确性较低问题,本文提出了基于特征图-标签互信息的剪枝准则,并在多个图像分类数据集上验证了方法的有效性。与现有方法相比,本文提出的方法对参数重要性的判断更加精确,在剪枝后可以更好地保持模型识别精度,能够以很小的精度损失为代价剪除模型接近60%的参数,有效降低了模型的浮点计算量。 2.对于舰船检测任务,现有目标检测网络普遍存在模型参数量庞大、结构冗余度高等问题,而当前研究多聚焦于通用模型的压缩与优化,未能充分挖掘遥感数据特有的先验知识以指导模型结构设计。针对这些问题,本文在第一项工作内容的基础上,将遥感目标长宽尺寸在固定分辨率影像中主要集中于特定区间且方差较小的特性融入了模型设计中,移除了在对遥感图像进行目标检测时贡献较小的检测头。在对比实验中,本文方法在识别精度、参数量、处理速度等方面都超越了Faster R-CNN、YOLO v5等模型。 3.为遥感图像目标检测开发了可视化系统,提升了本文方法的易用性。 综上所述,本文通过提出准确性更高的剪枝准则和更适合遥感领域目标检测任务的特征金字塔结构,进一步压缩了模型的参数量和计算量,有效改善了当前目标检测模型在星载及机载遥感系统上面临的计算资源、存储资源受限的问题。

关键词： 被动声学监测   鸟声事件检测   目标检测   少样本学习   深度学习  

摘要： 基于被动声学监测的鸟类监测技术具有非侵入性、适合连续监测和大规模数据收集等优点。然而在真实的自然生态环境中,长时间大规模的野外录音数据中包含了大量与鸟声无关的声音区间,如果所有这些数据都进行复杂的声音分析处理,会增加计算成本和降低数据分析效率。采用鸟声事件检测进行数据预处理,可以有效筛选出包含鸟声的音频片段,减少不必要的计算。本文对基于深度学习的鸟声事件检测方法进行研究,主要研究内容如下: (1)为同时获取鸟声事件的分类、时间和频率信息,提出了一种基于YOLOv8n的鸟声事件检测框架。构建了鸟声声谱图数据集,引入位置注意力机制(PA)以增强模型对关键鸟声区域的聚焦能力,引入深度可分离卷积(DSConv)以降低模型复杂度并增强跨频率特征建模。实验表明YOLOv8n+PA模型在平均检测精度m AP50上较基础模型YOLOv8n提升了2.1%。而融合PA和DSConv的YOLOv8n+PA+DSConv模型性能更佳,平均检测精度m AP50相比基础模型提升了2.6%,参数量减少了5.4%,GFLOPs降低了2.5%,实现了精度与效率的双重优化。 (2)针对鸟声事件检测中部分鸟类标注数据短缺的问题,研究了少样本鸟声事件检测方法。提出一个名为Bird-FSNet的特征提取网络,使用卷积层和位置编码提取稀疏Token,通过稀疏Transformer模块并行计算捕获跨频段时频关联性并利用残差连接增强梯度传播效率。实验结果表明,在两个基准测试集中,基于5个样本的Bird-FSNet分别达到54.9%和52.5%的F1-score。 (3)为了验证上述两种鸟声事件检测方法在实际自然生态环境下的有效性,基于广州10个绿地公园采集的6,817.75小时的实地录音数据分别使用两种鸟声事件检测方法进行实地数据检测。首先选取了鸣声覆盖低、中、高频段的6种常见鸟类(栗背短脚鹎、红耳鹎、白头鹎、长尾缝叶莺、赤红山椒鸟、黄眉柳莺),采用基于YOLOv8n的鸟声事件检测方法在这10个广州绿地公园成功检测出这6种鸟类,并进一步根据这些鸟声事件检测结果中的频率信息分析出相同鸟种在广州不同公园的频率存在差异,尤其主频差异显著。然后选择2种国家二级保护鸟类(红嘴相思鸟、黑鸢),采用少样本鸟声事件检测方法检测,每个物种仅提供5个训练样本,结果显示红嘴相思鸟在广州石门国家森林公园、帽峰山森林公园和越秀公园中被成功检测到,黑鸢在广州石门国家森林公园、太子坑森林公园、帽峰山森林公园、越秀公园和晓港公园中被成功检测到。

关键词： 旋转不变性   图像处理   卷积神经网络   低功耗嵌入式开发  

摘要： 在计算机视觉和模式识别领域中,旋转不变性一直受到研究人员的广泛关注。在人工智能时代,常用卷积神经网络处理视觉相关任务。但是卷积神经网络不具有旋转不变性,在遇到同类物体在图像中角度不同的情况时,卷积神经网络的性能会大幅降低。因此,需要向卷积神经网络中引入旋转不变性,以提高对旋转图像的分类精度。同时,考虑到部分计算资源受限的边缘计算应用场景,因此需要平衡分类精度与模型规模,以实现边缘端部署。 在算法设计方面,本文从图像自身入手,根据物理学中矩的概念提出图像特征角的计算公式。并且,通过公式推导出图像特征角的特殊性质。这个特殊性质是,当一张图像被随机旋转后,再经过此时特征角的度数旋转得到的图像,与最原始的图像经过特征角旋转后得到的图像相比,只会相差0、90、180和270度这四种情况。由于只存在这四种情况,因此可以构建四分支旋转卷积神经网络。在第一个分支中定义标准卷积核对应0度的情况,接收反向传播并更新权重,其余三个分支分别基于标准卷积核旋转90、180和270度,这样四个分支之间相互关联,有助于全方位分析图像。最后通过自定义的分支收敛模块从四个分支中挑选最佳分支作为分类预测结果。 本文提出的基于图像特征角的四分支旋转卷积神经网络模型在旋转手写数字数据集上实现了目前的最佳精度。这个模型将原先的最佳精度提升了0.73%,参数量减少了98.27%。此外,在多个遥感图像和医学图像分类数据集上,本文提出的模型利用较少的参数量,取得了相比于先前提出的模型接近甚至更高的分类性能。以上实验体现了本文模型在规模较小的情况下,仍然具有较强的处理旋转图像的能力,是一个具有旋转不变性的模型。 除了算法设计,本文还基于Nucleo-G474RE低功耗嵌入式开发平台对提出的旋转不变模型进行硬件部署。由于Pytorch官方旋转函数无法导出成ONNX文件,进而无法实现硬件部署,因此本文针对旋转卷积核和旋转图像这两种情况分别提出了对应的自定义旋转算子。 此外,本文使用剪枝技术对模型规模进一步压缩,控制精度损失,并且提高处理速度。之后上板验证测试旋转算子和模型压缩的实际效果以及硬件性能表现,最终展现出极低的功耗。相比于图形处理单元,功耗降低了3个数量级,并且接近实时性的帧率要求。

关键词： 图像去雾   计算机视觉系统   数字图像视频   FPGA硬件  

摘要： 针对在雾霾、沙尘等不利的气候条件下，拍摄照片和视频会受到如对比度下降、色彩失真等严重影响。为了减少不利天气对视觉信息的干扰，该文将对暗通道先验算法进行改进，提出一种优化的加窗加权暗通道先验自适应阈值去雾算法，结合硬件FPGA(field programmable gate array)对图像视频进行去雾，并运用模块化设计的理念，对算法进行硬件级优化，利用FPGA的并行计算特性加速图像视频去雾。实验结果表明，该系统能够高效地还原清晰图片，硬件资源消耗及成本较低，视频帧率稳定在60帧/s，可满足实时性要求。

关键词： 欺骗式干扰   多基地雷达系统   高速目标   干扰识别   相参积累   目标检测  

摘要： 当代电子对抗领域的技术革新中,数字射频存储器(Digital Radio Frequency Memory,DRFM)的突破性应用,推动电子干扰技术实现了从单一噪声压制干扰向多种高保真欺骗干扰的范式转型。该技术通过动态重构电磁环境,显著削弱了战场环境中雷达的生存概率。与此同时,高速运动目标与雷达系统的时变相对运动所引发的距离走动与多普勒走动,给高速运动目标的积累检测带来了挑战。多基地雷达系统凭借其高自由度空间布局和协同探测优势,构建出具备全向感知、多层防御的复合探测网络,显著增强了关键军事设施的电子防护能力。因此,欺骗干扰下多基地雷达高速目标检测技术的研究已成为电子对抗领域的前沿研究方向。 针对欺骗干扰下多基地雷达高速目标检测问题,本文进行了模型推导、方法研究和仿真验证等工作,主要内容以及贡献如下: 1、介绍了DRFM干扰机的基本工作原理,以及干扰信号的产生过程与作用机理,建立了雷达系统中三种典型欺骗干扰的数学模型,并通过仿真实验验证分析了上述干扰对雷达系统中物理目标精准检测带来的挑战。 2、提出了一种距离欺骗干扰环境下的高速目标积累检测方法。首先建立了距离欺骗干扰下的高速目标回波模型,然后利用Radon傅里叶变换(Radon Fourier Transform,RFT)实现了单通道相参积累;随后通过基于熵循环匹配的方法完成多通道相参积累,同时获得了目标和距离欺骗干扰在不同通道中的位置估计信息,进而利用椭圆定位处理完成距离欺骗干扰的精准识别;最后通过仿真实验验证了所提方法的有效性。 3、提出了距离-速度联合欺骗干扰识别与高速机动目标积累检测方法。首先构建了距离-速度联合欺骗干扰环境下的高速机动目标回波模型,然后利用广义Radon傅里叶变换(Generalized RFT,GRFT)实现了多脉冲相参积累;随后通过基于拓扑欧式距离的方法实现了多通道相参积累,并获取了所有通道中物理目标和距离-速度联合欺骗干扰的参数估计值,进而通过双曲线-椭圆联合定位实现了距离-速度联合欺骗干扰的识别;最后进行了所提方法的仿真实验与性能分析。

关键词： 光学测量   数字图像相关   图像特征匹配   改进SIFT算法   图像处理  

摘要： 数字图像相关法是一种基于机器视觉的光学测量方法,其基本原理是通过采集对象变形前后的序列数字图像并进行相关运算来分析出对象的位置与形状变化信息,进而获取其物理力学信息。数字图像相关法具有非接触式、全场测量、光路简单、测量范围方便调整等优点,经过三十多年的发展与改进已被广泛应用于现代工程测量中。为了使数字图像相关法达到实时、高精度的测量水平,对其计算速度与精度的完善一直是研究工作的重点。因此,本文探讨了数字图像相关中的关键问题,对其初值估计方法进行改进,并搭建了一套三维数字图像相关测量系统,进而分别从二维变形测量实验和三维变形测量实验对所提算法和测量系统可行性进行验证。论文主要研究工作如下: (1)介绍了数字图像相关法的基本原理,包括形函数、相关函数和亚像素求解算法,然后提出了一种基于图像特征匹配技术的数字图像相关初值估计方法,即:首先采用圆形窗口改进传统SIFT算法的特征描述区域,并通过实验对比确定加权函数标准差,对窗口内像素点加权生成40维特征描述符;然后获取变形图像特征匹配点对坐标,使用与所在子区相对应的仿射变换来初始估计子区的变形参数,即兴趣点的位移初值估计;最后将估算的位移初值作为亚像素求解算法的迭代初值,优化计算出使相关函数获取极值的兴趣点的精确位移值。根据模拟散斑平移实验和聚氯乙烯树脂材料拉伸实验的结果可知,相较于传统基于SIFT、SURF和KAZE特征匹配的初值估计方法,本文算法在计算精度和效率方面都有更好的表现,兴趣点位移计算准确率可达99.9%以上。 (2)对三维数字图像相关方法中的关键技术开展研究,总结了双目立体视觉成像、相机标定、极线约束和三维重建的原理,并对三种3D-DIC匹配策略进行比较,选取其中精度最高的匹配策略与本文初值估计算法相结合,提出了一种基于改进特征匹配的3D-DIC测量方法。随后选用两个相同型号的相机以及相应硬件组成搭建了一套三维变形测量系统。 (3)通过刚体位移实验和6061铝合金拉伸实验来验证本文三维测量系统的可行性。实验结果表明本文的三维测量系统能够实现材料变形过程中位移数据和应变数据的准确测量,进而能够根据相关变形数据反演出材料的相关力学特性,如弹性模量和泊松比,表明本文三维测量系统运用于材料力学性能测试中的可行性和优越性,具有很高的实际应用价值。

关键词： 深度度量学习   双曲几何   图像检索   人工智能   计算机视觉  

摘要： 深度度量学习通过将数据映射到高维嵌入空间,以学习数据之间的相似性度量,在图像分类、目标识别、图像检索等多个领域得到了广泛应用,并作为众多应用的特征分类基础。当前,大多数深度度量学习方法在欧几里得空间中进行,其方法设计主要依赖余弦度量或欧几里得度量。然而,这类方法主要基于单一角度方向的优化,往往存在模型非最优化、各向同性等问题。此外,现有方法普遍依赖人工标注的类别等价性作为监督信号,该监督方式仅提供了数据间有限的关系视角,难以有效表达类别之间的语义亲和性。因此,基于二元关系的传统度量学习方法在处理复杂的语义层次结构时存在一定局限性,从而制约了该领域的进一步发展。 相比之下,双曲空间由于其恒定的负曲率,具备与欧几里得空间不同的几何特性,尤其适用于建模具有复杂层次或树状结构的数据。近年来,双曲空间在图数据建模、复杂网络分析和自然语言处理等领域取得了显著进展,为深度度量学习提供了新的研究视角。为深入挖掘双曲空间在该领域中的应用潜力,本文围绕以下两个核心问题展开研究:第一,如何在现有欧几里得架构的基础上有效引入双曲几何特性,以克服欧几里得嵌入的局限性;第二,在融合双曲几何与现有架构的基础上,如何进一步发挥其在层次建模方面的优势,挖掘并构建数据中的潜在层次信息,从而持续提升特征嵌入的质量与区分能力。围绕上述问题,本文的主要研究工作和贡献如下: (1)融合欧式与双曲约束的混合框架:针对如何在现有欧式架构下有效利用双曲空间的优势,本文提出了一种混合框架。首先,将神经网络提取的欧式特征通过指数映射层转换为双曲嵌入,以充分利用双曲空间的几何特性;其次,结合双曲空间的分布先验,将代理点初始化在庞加莱模型的裁剪边界附近,以加速模型收敛并提升学习性能;最后,设计了一种基于双曲度量的正则化损失函数(LHL),以缓解传统余弦度量方法所导致的各向同性问题,从而提升模型在局部邻域内的类间分辨能力。通过在三个公共基准数据集上的对比实验和消融实验,验证了融合双曲空间和LHL损失后,模型相较于传统方法有了明显的性能提升,并且在多个任务中取得了先进的性能。 (2)基于双曲空间的层次排序框架:针对如何有效发现和利用数据间的复杂关系,本文提出了一种层次排序框架,其中包括层次排序生成算法(HRG)和层次排序损失(HRL)两个模块。HRG通过生成排序标签,捕捉细粒度类别间的语义相似性,并相较于传统聚类算法,能够提供更细致的类别关系理解,同时降低双曲运算所带来的计算复杂度。HRL则采用权重衰减策略,以优化不同层次上的排序目标,避免潜在的层次优化冲突,进而增强模型的学习能力,使其能够生成更具区分性和稳定性的嵌入表示。根据实验结果对比可知,所提框架的效果优于基线方法,并在大多数任务中达到了最先进的性能,进一步验证了该框架的有效性和实用性。

关键词： 目标检测   图像融合   特征级融合   决策级融合   眼部温度检测  

摘要： 体温是评价牛个体健康和生理状况的重要指标,及时准确地检测体温变化对牛养殖和健康管理具有重要意义。传统测温方法通常是用探针插入牛体内测量直肠温度,该方法不仅费时费力、具有创伤性,还可能引发牛只应激反应,导致体温升高,从而影响测量准确性。因此,亟需一种非接触式体温监测技术。基于红外热成像原理及相关研究结论,本文结合可见光图像,提出一种融合红外热图像与可见光图像的牛眼检测与测温方法,以减少单一图像检测可能带来的误差。通过监测牛眼区域温度,替代传统侵入式测温方式,以评估牛只的应激水平、疾病早期迹象或发热情况。在图像融合过程中,本文分别从决策级融合和特征级融合两个角度展开研究。 在决策级融合牛眼检测部分。本文以YOLOv8L为基础模型,在主干网络中引入DWConv卷积替换传统卷积,减少参数量与计算量的同时,增强对牛眼边缘细节的建模能力。在上采样方式中,采用Dy Sample模块动态调整卷积层感受野,以减少信息丢失,使牛眼区域特征更清晰,提升模型的检测精度和鲁棒性。在最终的决策级融合策略中,采用置信度加权融合方法,依据检测结果的置信度得分加权计算,选取综合得分最高的区域作为最终检测结果,最终精确度为98.6%,m AP指标达到了96.5%。 在特征级融合牛眼检测部分,本文采用双分支结构,使用Dark-Swin和Mobile Net分别提取可见光和红外热图像的牛眼特征。可见光分支中,Dark-Swin结合了Dark Net的高效卷积特征提取能力与Swin Transformer的全局特征建模能力,增强了牛眼的细节特征表达;红外热分支中,Mobile Net则以其轻量高效的架构确保牛眼特征提取能力,同时降低计算复杂度,提高模型实时性。特征融合策略则是选取门控机制融合方法,自适应调整可见光和红外热图像特征的贡献比例,提升牛眼检测精度。为进一步增强模型对牛眼区域特征的关注能力,在检测头之前引入NAM注意力机制,通过自适应归一化策略优化特征分布,使模型更聚焦于关键特征。虽然m AP指标只达到了95.5%,但最终模型大小仅为12.24M,是决策级融合模型的1/5,在推理速度更快的同时还具有较高的牛眼检测精度。 在牛眼测温阶段,本文通过对红外热图像提取温度矩阵,并结合牛眼检测结果,计算牛眼区域的温度值。研究结果表明,该方法可有效替代传统侵入式测温方式,为牛只健康监测与疾病预警提供重要参考。