关键词： 图像配准   红外光和可见光   特征融合   行人检测  

摘要： 基于双模信息特征融合的目标检测是自动驾驶、智能监控等全时段应用需求中的关键技术,针对同视场环境下,以可见光及红外光的双模图像作为输入,利用两者的互补以区分行人目标特征并进行行人检测,弥补单模态输入难以应对恶劣环境及光线变化的问题,同时也弥补了红外图像缺乏纹理细节的弊端。双模行人检测性能的好坏,在很大程度上取决于红外与可见光图像信息的匹配情况以及融合机制的好坏,因此,双模信息融合的行人检测技术具备实际研究应用价值。 本论文着眼于双模图像信息配准以及如何选定适宜的融合阶段与方式,进而构建出一套双模态的特征融合目标检测机制。该机制旨在充分融合红外与可见光模态的特征信息,以此达成提升行人检测性能的目标,主要研究及成果如下: (1)针对双模图像传感器采集图像时,可见光与红外传感器因焦距、视场、拍摄角度等因素,致使同一场景目标成像出现畸变、旋转、平移等错位问题,本研究基于SURF算法的图像配准方法,以双模态特征尺度空间为依托,进行关键点的定位操作,同时完成方向信息的配置,近似筛选特征点,通过计算特征点邻域梯度直方图构建特征向量,最后去除误配点,依据精确匹配点对确定变换矩阵,实现可见光与红外图像配准,对提升图像检测性能意义重大。 (2)针对单一模态难以进行复杂条件下的行人检测问题,本研究设计了一种基于YOLOv7的双分支多阶段的行人目标检测算法。首先,将YOLOv7模型骨干网络扩充为双分支结构,设计双模特征交互融合网络,通过融合特征指导下阶段特征生成,优化模态差异,获取更充分的特征。此外,采用MobileNetv2进行主体特征提取,保证检测精度的同时兼顾检测速度,以满足自动驾驶场景下的目标检测需求。 (3)针对双模图像模态信息交互贡献度不均以及在不同光照条件下模态融合信息不平衡的问题,本研究设计了一种基于YOLOv7的自适应差异特征融合行人目标检测算法。首先,设计了自适应差异融合模块,将输入的可见光与红外模态特征依据模态差异生成融合权重,对原始特征进行加权组合,实现模态互补;设计了自适应光照感知权重分配模块,利用可见光图像设计微型网络,通过预测光照强度值,自适应调整可见光与红外图像的加权融合权重,实现不同光照条件下可见光与红外图像的有效融合,提升网络在不同场景下目标检测的精确性与鲁棒性。 (4)针对智能交通场景,搭建一套全方位的全天候的双模行人检测系统,在各种条件下道路上行人目标进行实时检测,并且系统需要具有一定的稳定性,建立这样一套双模行人目标检测平台,不仅可以在复杂环境中精准识别行人目标,有效提升行人目标检测可视化能力,能够为自动驾驶等领域提供可靠的数据支持。

关键词： 水下目标检测   YOLOv8   损失函数   轻量化   注意力机制  

摘要： 伴随着科学技术飞速发展,人类对资源的渴求也越来越严重,陆地资源的有限性导致社会发展的进度开始变得缓慢,资源供应不能满足需求,因此人们将视线盯在了拥有富饶广袤资源的海洋,海洋也由此成为资源采取的战略焦点。然而,海洋环境的特殊性使得人们在对海洋资源进行开采时遇到许多问题,提高开采效率成为一道难题。传统水下目标检测技术虽然能取得一定成效,但其计算复杂度高、内存占用大、能耗不匹配等问题直接制约着资源的开发效率。由于水下复杂的光学衰减、生物散射效应以及动态干扰导致图像出现特征模糊、对比度退化等问题,导致传统水下目标检测技术错检漏检的情况时常发生。此外,水下嵌入式设备受限于内存容量小与算力差,导致检测精度低下。在传统水下目标检测基础上,通过引入深度学习可以增强检测效率及减少检测时间,使模型的检测精度有效提升。因此,本文通过对YOLOv8模型进行改进,针对水下目标检测的问题进行优化,提高模型的检测精度,并且在改进后的模型上进行轻量化,提升模型检测速度。 针对受限于水下环境错综复杂导致检测精度低的问题,本文提出了一种改进YOLOv8的水下目标检测方法。首先,将双层路由注意力机制Biformer嵌入YOLOv8的骨干网络中,以此增强模型特征融合能力,提高多尺度特征交互效率,优化对小目标的检测能力。其次,采用DCNv4可变形卷积替换C2f结构中的3x3卷积模块,以增强空间聚合的动态特性和表达能力并优化内存访问提高速度。然后,在预测部分使用Wise-Inner-MPDIo U损失函数将交叉熵损失函数进行替代,使模型对不同目标及尺寸的自适应能力得到一定程度的提升。最后在水下目标数据集上进行实验,该方法的m AP达到了86.4%,相比改进前83.6%的m AP提高了2.8%,这充分表明本文方法能够有效增强模型在复杂环境下的鲁棒性以及检测精度。 针对上述改进后模型计算复杂度高导致目标检测速度慢的问题,本文通过对模型采取轻量化来降低复杂度。首先,将YOLOv8中的颈部网络PAFPN用BIFPN替换,并将注意力机制Sim AM嵌入其中,解决了现有注意力模块只能沿着通道或空间维度细化特征,限制学习跨通道和空间变化的注意力权重灵活性的问题,加快了权重计算。然后,在Head前引入S-RBlock浅层残差模块对特征图进行再加工,强化高层特征对模糊、细小目标的表达能力,提高检测头输入的语义完整性。通过在之前改进的模型上对同一数据集进行消融实验,计算量和参数量分别减少7.2G和20.4M,而精准度却保持不变,实验结果显示,轻量化后的模型在保持高精准度的同时,有效降低了模型复杂度,这表明该模型在进行水下目标检测种具有优异的性能。

关键词： 机载视频处理   目标检测   目标跟踪   语义特征增强  

摘要： 无人机作为一种新型的对地观测平台,具有运动灵活、航时长且能适应复杂飞行环境等优势。随着人工智能技术的发展与成熟,基于无人机平台的对地观测技术在交通监测、环境治理等领域拥有广泛的应用需求。无人机平台对地观测分为目标检测与跟踪两个阶段,目标检测阶段定位目标在视频帧中的位置和类别;目标跟踪阶段则基于检测结果,通过对目标在视频连续帧中的相似度判别实现目标跟踪,两者共同构成了无人机对地观测的技术体系。因此提升目标检测与跟踪算法的性能决定了无人机平台对地观测效果。然而机载大视场航拍视频存在背景信息复杂、目标尺度多样、小目标检测困难、目标密集排列、目标与无人机平台相对运动导致姿态变化、被遮挡以及运动状态复杂等问题。本文针对以上挑战提出了一种基于语义特征自注意增强网络的机载航拍视频目标检测与跟踪算法。具体研究如下: (1)在目标检测阶段,针对背景信息复杂度高,视场内存在大量干扰问题,本文构建了基于自注意力感知增强的特征提取网络。在特征提取网络中构建集成窗口位移注意机制与基于卷积神经网络的跨阶段部分聚合特征模块,增强算法的局部与全局感知能力,提高模型在复杂背景下的特征提取能力。 (2)在目标检测阶段,针对目标尺度多样、小目标检测困难与目标密集排列的问题,本文构建了基于上下文语义引导的特征融合网络。在特征融合网络加入小目标特征层,提高浅层特征的参与度以提升小目标的检测精度;引入上下文引导模块,增强模型在多尺度目标下的语义特征感知;在后处理阶段构建中心点距离损失函数,提高模型在目标密集排列情况下的判别能力。 (3)在目标跟踪阶段,针对目标运动时纹理细节与轮廓特征频繁变化以及被遮挡问题,本文构建了轻量级重识别网络。利用自注意机制增强目标特征的表达能力,弱化目标在运动过程中因姿态变化干扰以提升重识别性能,有效提升在目标纹理细节与轮廓特征变化与被遮挡情况下的目标跟踪精度。 (4)在目标跟踪阶段,针对目标与无人机平台间的相对运动导致目标运动状态复杂问题,本文构建基于距离交并比的关联匹配策略。通过综合衡量目标跟踪框与检测框的距离、重叠程度和尺度,提升跟踪过程中关联匹配的稳定性,降低目标跟踪关联中断的发生率。 基于以上研究,本文完成了基于语义特征自注意机制的机载视频目标检测跟踪技术算法的研发构建。本文在开源航拍数据集UAVDT数据集进行系统实验,充分验证本文在机载大视场航拍视频目标检测与跟踪方法的可行性与有效性。

关键词： 深度学习   计算机视觉   图像生成   目标检测   烟盒缺陷检测  

摘要： 针对当前面向烟盒缺陷检测的智能算法研究面临的严峻问题:(1)烟盒缺陷检测中数据稀缺性高、品牌多样性、产线背景复杂且动态;(2)传统烟盒缺陷检测任务效率低、误检率高;(3)现有的包装机小盒外观检测系统不够全面,效率低。本文围绕“数据生成扩充-烟盒缺陷检测算法-系统集成”的全链条技术路径展开,提出了一套完整的智能化解决方案,并在理论与工程层面取得以下创新性成果: (1)针对烟盒缺陷检测中数据稀缺性高、品牌多样性复、产线背景复杂且动态的问题,提出基于改进扩散模型的双通道烟盒缺陷数据扩充方法。首先通过手动标注和SAM分割大模型对原始烟盒数据进行预处理,分离局部背景信息与缺陷特征,然后结合注意力残差模块(Att Resblock)与高效多尺度注意力模块(EMA)优化策略,最后根据产线实际情况分别使用带有局部背景信息和不带有局部背景信息的缺陷图像采取不同策略对原始数据集进行扩充。实验表明,其FID分数较主流GAN模型降低15%-20%,细节清晰度显著提升;以1:1比例混合原始数据与生成数据时,主流检测模型等检测模型的各项指标均有提升。 (2)针对烟盒图案复杂,缺陷形状、大小、位置多变导致现有烟盒缺陷检测任务效率低、误检率高的问题,创新性提出了融合频域增强与动态稀疏注意力的烟盒缺陷检测算法。为提升对微小和模糊瑕疵的检测效果,引入频域特征处理模块,WT模块通过小波变换显式提取低频全局特征(如色差、污渍)与高频细节(如边缘破损),使缺陷检测精度提升。针对模型在复杂背景下模型的低表现行为,创新性地引入自适应稀疏注意力模块(ASSA),通过动态特征筛选能够减少冗余信息和噪声干扰,提升模型检测性能。实验表明,所提出的模型在参数量减少15%,FLOPS降低20%的情况下,m AP50达97.6%,优于主流检测模型,满足工业实时性需求。 (3)针对现有的包装机小盒外观检测系统不够全面,效率低等问题,开发实现覆盖烟包六面外观检测的软件系统。通过深度学习与图像处理技术的结合,实现了烟包缺陷的精准检测和自动剔除。该系统在模拟实际生产环境中能够高效运行,显著提升了烟包质量控制能力,成功解决了传统人工检测的局限性和误检问题,为工业智能化生产提供了强有力的支持。同时,算法服务模块的性能对比测试进一步证明了本系统在准确性、效率及稳定性方面的优势。

关键词： 草莓   目标检测   深度学习   光谱技术   无损检测  

摘要： 随着我国居民收入提升以及健康意识增强,消费者愈发注重水果的品质与营养价值。草莓富含维生素C、膳食纤维及多种抗氧化成分,深受消费者青睐,其市场需求持续增长。中国作为全球最大的草莓生产国,2022年种植面积达221.18万亩。优质草莓在市场上的竞争力增强,需求量持续增长。然而,现有草莓品质检测方法在无损性、实时性和精度方面存在不足,难以满足现代农业智能化需求。因此,研究高效、智能、无损的检测技术对提升产业质量和自动化水平具有重要现实意义。近年来,深度学习技术在水果识别与分割领域取得了显著突破,有效弥补了传统方法的不足。然而,该技术仍存在识别效率偏低和鲁棒性欠佳的局限性,制约了其实际应用。与此同时,可见光/近红外光谱分析技术凭借其低成本、快速、无损且精准可持续的优势,在农产品无损检测领域得以广泛应用,然而该技术仍存在检测指标单一、精度不足及系统稳定性较差的技术瓶颈。针对上述问题,本文开展了以下几方面的研究工作: （1）由于草莓的复杂生长环境、光照强度干扰以及草莓聚集导致的遮挡,成熟度识别具有较大挑战。为解决这些问题,本研究旨在开发一种精确检测和分类成熟草莓的算法。本文提出了一种新型LS-YOLOv8s模型用于草莓成熟度检测与分级,该模型基于YOLOv8s深度学习算法,并融合了LW-Swin Transformer模块。首先,在对比度增强过程中引入了两个新的随机参数,以控制增强效果。数据集从1089张图像扩展至7515张,在增加数据多样性的同时降低了模型过度拟合的风险。其次,在特征融合阶段,将Swin Transformer模块添加至TopDown Layer2,利用多头自注意力机制捕捉输入数据的长距离依赖关系,提高模型的泛化能力。最后,通过在Swin Transformer的原始残差结构中引入可学习参数的残差网络和尺度归一化,实现了更高效的特征融合网络。为了评估LS-YOLOv8s在草莓成熟度检测中的有效性,本文从草莓种植基地采集了一批草莓图像数据集,并采用5折交叉验证进行数据集划分,以优化模型评估过程。实验结果表明,LS-YOLOv8s在验证集上的mAP0.5分别比YOLOv5s、CenterNet和SSD提高了1.6%、33.5%和3.4%,表现优于其他模型。此外,该模型的检测精度和速度均优于YOLOv8m,仅使用约51.93%的参数量,就达到了94.4%的检测精度和19.23fps的检测速度,分别提升了0.5%和6.56fps。上述算法为草莓目标检测、成熟度评估及果园自动采摘管理提供可靠的理论支持。 （2）本文提出了一种基于高光谱图像和MPCD-Mamba的新型草莓无损质量检测方法,旨在解决传统检测方法成本高、效率低、准确率不足的问题。本文使用高光谱成像系统收集200个草莓样品,通过化学计量学确定其质量参数,并构建最优MPCD-Mamba模型以检测多种质量参数。数据集通过随机均值采样进行增强,并提出了动态聚焦Mamba模块（D-Mamba）,该模块能够选择性地关注多层次特征中的关键信息,有效抑制噪声和无关信息的干扰。此外,提出了分层选择性融合算法,通过减少DenseNet跨层连接的数量来降低计算复杂度,同时利用其特征重用性。实验结果表明,该方法在可溶性固形物含量（SSC）、pH值和硬度预测方面实现了较好的精度提升,其R2分别达到了0.9105、0.8272和0.9709。与传统方法相比,本文提出的方法在预测精度和检测效率方面均有明显优势,为草莓无损质量检测提供了重要的技术支持。 （3）基于上述研究工作,本文分别设计了可视化界面并实现了视觉检测的嵌入式部署。整个系统采用Python和PyQt5进行开发,确保了良好的用户交互体验和系统稳定性。在视觉检测方面,本文通过LS-YOLOv8模型实现草莓成熟度检测,并结合可移动双目相机采集草莓的深度信息,以实现更全面且便捷的检测。实验结果表明,该系统在自然环境条件下对草莓品质具有可靠的检测性能。针对草莓内部品质检测,本文开发了高光谱数据可视化界面,并基于MPCD-Mamba模型进行SSC、pH及硬度的内部品质的多指标预测。实验结果表明,该系统可有效提升检测精度,为农业生产中的智能化检测提供了可行方案,并为相关技术的发展奠定了坚实基础。

关键词： 无人机   目标跟踪   自适应无迹卡尔曼滤波   强跟踪滤波  

摘要： 针对无人机在跟踪地面机动目标时，目标的机动导致无法得到准确的目标状态信息的问题，以无迹卡尔曼滤波(UKF)算法为基础，结合交互多模型(IMM)算法与强跟踪滤波器的思想，提出了一种基于IMM的强跟踪无迹卡尔曼滤波(IMM-STUKF)算法的无人机对地目标状态估计算法。仿真表明，在无人机飞行速度约30 m/s、目标速度约7 m/s、角度与距离量测误差分别为1°和15 m时，相较于IMM-UKF,基于IMM-STUKF的无人机对地机动目标位置估计精度提升了约10%,速度估计误差降低了约50%。

关键词： 苹果采摘机器人   自校正照明网络   夜间识别   夜间补偿光源   目标检测  

摘要： 机器人夜间采摘是大幅提高苹果采摘机器人作业效率的有效途径。为解决夜间环境下苹果采摘机器人无法准确识别苹果，不能区分不同目标等关键问题，本文提出了一种基于自校正照明网络的苹果采摘机器人夜间目标识别方法。基于TracePro软件分析了图像采集区域的光照均匀性，确定了补偿光源最佳安装角度；对比分析白炽灯、LED灯、高压钠灯、卤素灯4种补偿光源下图像RGB、HSV分量的变化规律，确定白炽灯为适合苹果目标夜间识别检测的最优补偿光源；选用YOLO v8s作为主干网络，并将自校正照明网络SCINet嵌入到YOLO v8网络中，解决了图像局部过曝光和局部欠曝光问题；将注意力机制CBAM嵌入到骨干网络中，更好地提取苹果目标特征；用超轻量动态上采样器DySample模块替换原有的UpSample模块，增强对树冠深处小目标苹果的检测能力；在构建的夜间苹果数据集上进行训练与测试。试验结果表明，改进的YOLO v8模型可实现对夜间环境下图像中可采摘和不可采摘苹果的识别与分类，识别模型召回率为82.9%,准确率为81.4%,mAP为86.8%。将本文模型与YOLO v5s、YOLO v7、YOLO v8n、YOLO v8s、YOLO v8m、YOLO v11s等主流模型进行对比，本文改进的YOLO v8s模型mAP分别提高3.9、13.1、12.9、6.2、2.7、5.7个百分点，召回率分别提高0.9、6.1、7.2、2.6、2.3、1.8个百分点。研究结果可为苹果采摘机器人在夜间环境下采摘作业提供技术支撑。

关键词： 物联网   图像语音识别  

摘要： 本文研究目的在于如何将计算机图像处理与识别技术融合于机电设施物联网系统中，推动物联网系统的升级。

关键词： 计算机视觉   数据采集与预处理   设备故障检测与预警  

摘要： 阐述基于计算机视觉的配电设备故障智能检测与预警系统的特点，探讨图像数据采集与预处理、特征提取与选择、故障识别与分类、预警与报警机制等系统的设计与实现，以提高系统的运行效率。