关键词： 多目标跟踪   抗遮挡   DETR   目标检测  

摘要： 随着无人机在遥感领域核心地位的日益凸显,其目标识别与跟踪算法在复杂动态环境下的鲁棒性实现成为关键研究难点。针对光照变化、尺度变换、位姿偏移等场景中存在的微小目标难识别、位姿偏移漏识别、密集遮挡难跟踪三大挑战,本文基于无人机高机动性特点,通过空间特征增强与运动状态联合建模方法,显著提升了复杂场景下的鲁棒目标检测与跟踪性能。主要工作如下: (1)针对微小目标难识别与相似目标误识别的问题,提出轻量化检测模型UAV-DETR。相较于主流算法YOLOv8,在模型参数量减少40%、计算复杂度降低10%的条件下,检测准确率提升16.6%。首先,设计基于倒残差结构的特征提取模块以保留低维图像的细粒度信息,并提出级联线性注意力机制显著降低计算冗余;其次,采用可变形交叉注意力机制抑制编码器特征扩散,在聚焦关键信息的同时有效拓展模型感受野;最后,引入边界框不敏感的Wasserstein距离重构损失函数,显著提升模型收敛速度。大量实验表明,该模型结构简洁高效,无需数据增强和后处理操作,即可实现更高的检测精度与召回率。 (2)针对位姿偏移漏识别的问题,提出了抗抖动多目标跟踪算法,较主流算法Byte Track取得有效提升:跟踪关联精度指标(HOTA)、检测准确率指标(MOTA)以及身份连续性指标(IDF1)分别实现13.6%,1.75%以及18.6%的性能优势。其能有效的捕捉目标帧间运动特征,增强无人机在快速移动时的感知能力。首先,通过系统分析位姿偏移真实案例,明确检测框偏移结论。其次,基于结论构建检测框补偿算法,引入级联线性注意力机制设计检测框配准模块,实现帧间精确配准。最后,结合配准模块设计仿射变化补偿策略,同步构建检测框定位度量模块作为配准失效保护机制,大量实验验证了其在位姿偏移场景下的有效性。 (3)针对密集遮挡场景的目标丢失、身份切换及噪声累积等问题,提出抗遮挡多目标跟踪算法。相较于现有方法Strong SORT,在目标跟踪精度(HOTA)上提升9.7%,身份识别准确率(IDF1)上提升7%,并将身份切换次数(ID Switch)降低79%。首先,通过解耦3D多目标跟踪中处理遮挡的思想,为2D跟踪算法构建了一种先验深度度量准则,以有效区分目标遮挡次序。其次,设计了一种网格式渐进划分跟踪算法,并结合研究一中的UAV-DETR消除冗余检测框,通过分治策略有效降低遮挡导致的身份切换。最后,进一步提出虚拟轨迹降噪模块,通过虚拟轨迹生成来实现丢失目标的追回与运动噪声抑制。对比试验与案例测试,均验证了该算法在遮挡场景中的有效性。

关键词： 类脑智能   目标检测   目标跟踪   三重记忆库   AIMM算法  

摘要： 雷达技术自20世纪诞生以来,经历了从机械扫描雷达到相控阵雷达,再到认知雷达的多次革新,但其核心设计始终围绕发射-接收-处理的线性流程展开。随着电磁环境日益复杂,传统雷达与认知雷达在动态环境适应能力、多任务协同效率和智能决策水平等方面逐渐暴露出局限性,亟需突破创新。 在雷达系统工程领域,人类一直在追逐真正的智能。人类大脑对于复杂变化环境下的感知信号处理具有极强的鲁棒性,能够快速精确地实现感知信号的认知过程。类脑雷达(Brain-Inspired Radar)旨在通过模仿人脑神经系统的信息处理机制,突破传统雷达线性架构限制,有望解决传统与认知雷达在复杂环境下的根本缺陷。因此,针对类脑雷达的构建和信息交互机制,本文主要开展了以下方面的研究: (1)研究了类脑雷达感知机理。给出了类脑雷达的定义,对人类信息处理和感知过程进行了研究,并对传统雷达的架构进行了分析。在此基础上,本文设计了类脑雷达感知机理框架,将类脑信息获取与感知过程加工进行分层次模块化设计,为类脑雷达的设计和开发提供总体框架指导。 (2)在类脑雷达感知机理的框架指导下,本文设计并实现了类脑雷达的三重记忆库,设计了记忆库的信息存储结构、记忆机制、存储机制和运行机制,对记忆库的关键技术进行了实验或仿真验证,并完成了记忆库数据管理系统软件的开发,为后续研究打下了坚实的基础。 (3)对类脑记忆库支撑的目标检测和目标跟踪方法进行了研究。对于目标检测任务,提出了一种基于动态门限场的目标重检测方法,引入跟踪预测信息和记忆库中历史经验信息对目标进行重检测,并采用实测数据和仿真数据进行了实验验证;对于目标跟踪任务,设计了一种在记忆库支持下的改进的AIMM算法,并进行了仿真实验验证。结果表明,在类脑记忆库的支撑下,目标检测和跟踪取得了良好的效果,提高了类脑雷达的智能化处理水平。

关键词： 智慧畜牧业   目标检测   实例分割   视频理解  

摘要： 畜牧业作为农业经济的重要支柱,为人类提供肉类、乳制品及皮毛等基础物资,对保障全球粮食安全、促进农村经济发展和改善居民生活水平具有不可替代的作用。然而,传统畜牧业长期依赖人工经验管理,存在生产效率低、动物健康监测滞后、养殖环境调控粗放等问题,导致资源浪费、疫病风险加剧及碳排放超标等挑战,严重制约产业可持续发展。近年来,以机器视觉为核心的人工智能技术迅速发展,其非接触、高精度、实时性强的特性为畜牧业智能化转型提供了新思路,尤其在畜禽个体识别、行为分析、健康评估及环境监控等领域展现出显著优势。因此,如何将这一新颖的人工智能技术赋能传统畜牧业,实现产业升级成为了一个亟待解决的问题。 早期的机器视觉领域主要依赖人工设计的特征来处理图像信息,模型结构都较为简单,具有很强的可解释性,可以在小规模的数据集上表现稳定,但是性能依赖于特征工程的经验,且鲁棒性不足,对于光照变化、遮挡等场景敏感。卷积神经网络(Convolutional Neural Network,CNN)的出现,改变了这一现状,CNN模型以其自动提取特征、易于实现端到端以及鲁棒性更强的特点,迅速成为了机器视觉研究领域的新潮流。本文基于现有的主流深度学习算法,对大型猪厂中家畜状态监测问题进行了研究,聚焦传统养殖场景中畜禽异常行为识别效率低、群体目标检测精度不足及生长性能评估依赖主观经验等痛点问题,提出了包含个体识别、体尺测量以及行为识别三个维度的状态监测体系。具体而言,本文的主要工作如下: 首先,提出了基于改进YOLOv5的无约束个体识别算法。针对生产实践中电子耳标识别方案带有伤害性的问题,本文基于改进的YOLOv5算法对家猪实现了无约束的个体识别。由于大型猪厂中家猪整体自然特征相似的特点,本文提出为家猪赋予编码标识来将特征差异化,并通过添加卷积注意力模块和优化损失函数来改进YOLOv5网络,实现了对家猪的高精度无约束视觉识别。本文制作了一个家猪个体识别的数据集,并验证了迁移学习、数据增加、卷积注意力模块和优化损失函数等策略对复杂场景下家猪个体识别任务的性能提升。 其次,提出了基于实例分割与立体视觉的体尺测量算法。针对在二维图像上家猪体尺测量关键点获取不准确,导致测量精度不高的问题,本文提出通过使用基于轮廓的实例分割算法自动分割家猪轮廓,再提取轮廓骨架,利用骨架特征获取体尺测量关键点,最后融合点云数据进行测长,同时为了避免非标准站姿对测量结果的影响,还提出了一种基于骨架特征对家猪标准站姿分类的方法,实验结果表明本文所提出方法的测长结果具有更低的MRE。 最后,提出了基于3D卷积的群居行为识别算法。针对家猪行为具有异质性,特征表现多样化的问题,本文提出基于3D卷积来建模空间特征和时序特征,捕捉家猪行为多样化的特征表现,实现了家猪群居模式下的多类行为检测。本文在一个公开的数据集上,采用Slow Fast架构验证了3D卷积网络在家猪多行为检测方面的性能表现,另外结合了non-local模块提升了模型的精测精度。

关键词： 协同显著性目标检测   卷积神经网络   注意力机制   Transformer  

摘要： 协同显著性目标检测任务的目的是在一组相关图像中探索具有相同属性的显著对象。早期的传统方法通常利用手工制作的特征对图像的相似区域进行打分,但这种方法大多依赖于人们的先验,难以应用于现实场景。随着深度学习的快速发展,基于卷积神经网络的协同显著性目标检测性能得到了显著提升。然而,现有方法还面临着一些挑战:(1)模型对多尺度特征提取不充分;(2)边缘细节信息易丢失;(3)复杂场景下的共识特征提取能力欠缺;(4)图像间相似背景干扰导致的误检问题突出。针对上述挑战,本研究提出了两种协同显著性目标检测算法,分别通过多尺度特征深度融合和全局语义一致性建模策略使模型的检测性能得到有效提升。 针对问题(1)和(2),本文创新性地提出了一种多尺度特征融合与边缘引导模型。多尺度特征融合与边缘引导模型通过尺度注意力增强模块、边缘引导模块和共识语义挖掘模块,实现了对多尺度特征的精细化提取与融合。尺度注意力增强模块通过融合多尺度特征,增强模型对显著区域的感知能力。边缘引导模块利用边缘信息增强目标边界的定位精度,而共识语义挖掘模块则通过跨层特征融合挖掘图像间的共性语义信息。本文提出的多尺度特征融合与边缘引导模型在三个具有挑战性的Co SOD基准数据集上,与11种最先进的模型进行了广泛的实验并取得优越性能,同时通过消融实验证明了所设计模块的有效性。 针对问题(3)和(4),本文提出了一种基于掩码一致性与注意力分流的协同显著性目标检测算法,掩码一致性与注意力分流模型通过掩码一致性感知模块和双维融合增强模块的协同作用,实现了对多幅图像中协同显著性目标的精确分割。掩码一致性与注意力分流模型利用多头自注意力机制和掩码一致性约束,捕捉图像间的共性特征并抑制干扰物;双维融合增强模块则通过分离池化再融合策略,平衡通道与空间维度的特征表示,进一步增强共识线索的提取能力。本文提出的掩码一致性与注意力分流模型在三个具有挑战性的Co SOD基准数据集上,与11种最先进的模型进行了广泛的实验并取得优越性能,同时通过消融实验证明了所设计模块的有效性。

关键词： 爆破烟尘   目标检测   图像分割   无人机检测   烟尘检测系统  

摘要： 国家提出将开展“深入实施新型城镇化战略行动”,持续推进城市更新与城镇老旧小区改造,在可预见的未来,我国爆破工程日益增多,爆破技术需不断提高,对爆破烟尘中环境污染的控制,绿色施工与检测需求将越来越受到关注。为响应国家推进智能化发展策略,提高爆破烟尘检测精度、效率、响应速度、检测算法的轻量化与检测装置的便携性,本文开展了基于边缘计算设备的烟尘自动检测系统的研究,本文主要研究成果如下: 1、针对爆破烟尘存在通透、动态变化、爆破烟尘与背景的检测对比度低等特性,提出爆破烟尘轻量快捷的检测模型,即YOLOv8＿AIES(敏捷反向残差多尺度注意力算法),该模型能够精确、高效检测爆破烟尘,并具备轻量化的特点,采用了C2f＿Agile Block模块、i RMB＿EMA混合注意力机制以及Slim Neck模块组合而成。该模型构建C2f＿Agile Block结构融合部分卷积与Leaky Re LU激活函数,在降低模型复杂度的同时增强特征表示能力,实现模型的轻量化;引入i RMB＿EMA混合注意力机制,结合倒置残差结构,精准捕捉爆破烟尘区域,实现了对爆破烟尘特征提取能力的增强;采用Slim Neck模块优化特征融合效率,完成了对爆破烟尘的检测性能与推理速度上的提升。在Py Charm集成开发环境上进行算法对比实验,基于自主构建的Smoke Dust-2024目标检测数据集(包含2459张已标注图像)来对本文提出的YOLOv8＿AIES模型进行验证,其平均精度均值达94.9%,召回率达93.9%,计算量与参数量相对于基准模型YOLOv8n下降了19.68%与26.97%。 2、针对爆破烟尘边界及细节难以准确识别的问题,传统图像分割算法存在过分割/欠分割现象,提出爆破烟尘自适应动态轻量分割模型,即YOLOv11＿ADDSeg(自适应扩张残差动态可变形算法),该模型采用了ADown模块、C3k2＿DWR模块和Dynamic DCNv3Segment分割头组成,将ADown模块替代传统下采样操作,利用通道拆分与多尺度池化策略保留特征,实现轻量化的同时也保留图像信息;利用C3k2＿DWR残差化机制,增强网络的复杂形态能力,实现了对爆破烟尘图像的高效特征提取;构建Dynamic DCNv3Segment分割头,通过可变形卷积与多维度注意力机制相结合,优化了爆破烟尘边界精度。在自建的爆破烟尘图像分割数据集Smoke Dust Seg-2024(含648张数据增强后的图像)上对YOLOv11＿ADDSeg模型进行验证,测试结果显示,YOLOv11＿ADDSeg平均精度均值达到91.3%,较YOLOv11n-seg提升12.7%,并且模型在较基线的参数量和计算量上分别减少了17.2%和8.7%。 3、针对爆破烟尘扩散面积难以检测的问题,提出一种多阶段协同测量爆破烟尘面积的检测方法。利用大疆Mini 2无人机与大疆Mavic 3E行业版无人机进行不同实验比对,证实所选用的大疆Mavic 3E行业版无人机更适合用于检测烟尘任务;使用Mini 2无人机开展不同拍摄角度对比实验,证明正射角度拍摄可降低实际面积计算误差;通过飞行高度对比实验确定,确定最优飞行高度,引入“检测-裁剪-分割-量化”方法,对烟尘面积进行计算,再与Global Mapper专业测绘软件所测烟尘面积进行对比验证,结果表明,本文所提方法对烟尘面积测量具有可靠性与准确性,可以为爆破现场提供可靠数据。 4、为适应爆破作业现场恶劣环境,实现现场检测,构建了基于边缘计算设备的烟尘检测系统。将边缘计算设备装入专用防护机箱后,在高温、高湿度等环境下,边缘计算设备能够稳定运行,通过Tensor RT对改进后的两个模型进行FP16量化,在Jetson Orin NX平台实现YOLOv8＿AIES与YOLOv11＿ADDSeg模型的部署。利用Qt5开发系统界面,实现爆破烟尘的识别、量化及可视化,为绿色爆破的技术改进提供了数据支持。

关键词： 水果识别   YOLOv7   目标检测   语义分割   DeepLabV3   ASPP模块  

摘要： 我国是一个水果大国,水果产量占全球的约三分之一。根据联合国粮食及农业组织(FAO)的数据,2020年中国的水果种植面积为12646.3千公顷,全球水果产量为88702.7万吨,其中中国为28692.4万吨。2023年,中国的水果产量达到3.27亿吨,占全球水果产量的约三分之一。此外,中国的水果种植面积和产量近年来一直稳居世界第一。因此,水果检测与分割任务近年来得到广泛关注。通过自动化检测出水果并分割出水果轮廓可以为手抓采摘机器人寻找果实提供强大的技术支持,对我国水果采摘自动化具有重大意义。但传统的水果检测方法主要为人工检测,不仅准确率低,还耗时耗力。因此针对传统水果检测方法的缺陷,使用深度学习方法对果园的水果进行检测可以提升检测的准确率和效率。因此,本文提出一种基于小目标增强模块的检测方法。其次,为了应用于苹果自动化采摘场景,需要将苹果果实与枝叶以及背景分割开来,本文提出了一种基于小目标注意和特征融合的苹果语义分割方法用于准确分割出水果的外形轮廓。最后,开发了一个苹果语义分割系统,具体内容如下: 1.为了进行果园水果检测与分割相关实验,本文构建了水果检测数据集FRUITS和苹果分割数据集APPLE。数据集FRUITS是由五种果园内生长的水果图像而构成,采用Labelimg工具标注完成后通过数据增强对数据集进行扩增。数据集APPLE是由苹果图像构成,采用Labelme工具进行了标注。 2.针对现有水果检测模型对自然环境下小目标水果识别度及检测精度不高的问题,本文提出一种小目标增强的果园密集水果检测算法。首先,基于原有的YOLOv7检测模型,在其主干网络增加了一个小目标增强模块以增强小目标水果的特征提取能力,以提升小目标水果的检测效果,然后将CIOU损失函数替换为归一化高斯Wasserstein距离损失(NWD),进一步提高模型检测精度。最后,在FRUITS数据集上进行实验,验证本文提出模型的有效性。 3.为了应用于苹果自动化采摘场景,需将苹果果实与枝叶以及背景分割开来以,因此本文提出了一种基于小目标注意和特征融合的苹果语义分割算法,首先将原有DeepLabV3+的特征提取网络替换MobilenetV2特征提取网络;其次,在DeepLabV3+模型的ASPP模块中采用改进的空洞卷积,重新组合的空洞卷积保证了小目标的分割精度,在不增加权重参数数量的情况下,可以更有效地提取语义像素位置信息。编码端解码端采用改进的特征融合结构,从编码端提取的3种不同尺度的低层语义特征与解码端中经过ASPP模块后输出的特征图进行拼接融合,以恢复在降采样过程中丢失的空间信息,平衡特征图中的细节信息和语义信息的比重。最后,在本文构建的数据集上进行实验,对苹果果实进行准确有效的分割。 4.设计与开发了一个果园内苹果语义分割系统。该系统界面简洁、操作简单,可使用提供的模型对苹果图片进行分割,并将结果进行展示和保存。

摘要： 近年来，密集遮挡、极端弱光、高动态模糊、水下浑浊、强辐射等极端环境日益成为智慧城市、深空探测、极地科考、灾害应急、智能交通和高端制造等领域的常态场景。面对信噪比极低、退化类型多样、目标尺寸微小或密集的原始影像，传统图像处理链路在增强复原、信息解析和下游应用中屡遭瓶颈。与此同时，跨模态融合、物理退化建模、生成式人工智能等新兴技术不断涌现，为极端环境图像处理与应用注入创新动力。