关键词： 事件相机   计数模型   时间序列   特征增强   目标检测  

摘要： 重复动作计数是计算机视觉领域的经典任务,在工业生产、体育训练等诸多领域均有相关应用,现存的视频计数模型基本可以实现高精度计数。然而,受制于视频本身的物理特性,如有限帧率难以捕捉快速动作细节,对光照条件敏感等特点,在一些特殊场景下,视频无法有效记录信息,从而导致模型无法顺利完成计数任务。相较于RGB相机,事件相机凭借高时间分辨率、低延迟、低能耗、高动态范围等特点,能够适应更复杂的环境并有效记录数据。值得注意的是,事件相机数据流与传统视频数据在数据模态上存在本质性差异,若直接将事件流数据转换为视频帧格式,可能引发数据完整性损失,这主要是由于事件流数据的时间连续性与帧结构的离散化处理之间存在固有矛盾。这种结构差异使得现有的基于视频的计数模型无法直接应用于事件流,本文围绕如何完成基于事件流的重复动作计数任务这一问题展开深入研究,通过全面分析事件流的特点,设计基于事件流的重复动作计数方案,以突破现有模型在特殊场景下的局限性,为相关领域的应用提供更可靠的技术支持。本文的主要工作如下: (1)针对事件流数据提出了基于时间序列分析的重复动作计数模型,实现对简单场景下重复动作计数。首先过滤事件流中常见的噪声;其次针对事件流特点进行分析,以时间戳顺序展开事件流,利用时间序列作为数据载体,设计事件序列时空聚类算法完成运动轨迹特征增强,缩小数据规模,通过降维与趋势提取进一步压缩数据规模并增强特征信息;最后,根据时间序列变化趋势,以迭代的方式锁定目标子序列,结合匹配方式获取重复动作计数结果。实验结果表明,相较于经典的重复动作计数模型,当前工作所提出的模型能够以更高的精度完成多种场景下事件流的重复动作计数任务,同时由于该模型基于时间序列分析方法,不需要训练过程,适用于需要快速低成本部署的场景。此模型所涉及的代码文件以及相关数据集均已开源于GitHub平台。 (2)为了解决基于时间序列分析的重复动作计数模型中存在的适用场景简单,鲁棒性欠缺等问题,进一步提出了基于目标检测的重复动作计数模型。首先,在事件流预处理上,该模型在原模型的基础上引入了新的滤波模块完成特征增强。其次,将预处理后的单次动作事件流聚帧,作为目标检测模型的训练集并训练。最后,搭建像素点与事件点的映射关系,引入滑动窗口思想,设计窗口移动策略,将动作计数问题转换为目标检测问题进行处理。实验结果表明,当前模型面对复杂动作计数任务时具有良好的鲁棒性,在多项指标下均优于经典重复动作计数模型。

关键词： 图像配准   红外光和可见光   特征融合   行人检测  

摘要： 基于双模信息特征融合的目标检测是自动驾驶、智能监控等全时段应用需求中的关键技术,针对同视场环境下,以可见光及红外光的双模图像作为输入,利用两者的互补以区分行人目标特征并进行行人检测,弥补单模态输入难以应对恶劣环境及光线变化的问题,同时也弥补了红外图像缺乏纹理细节的弊端。双模行人检测性能的好坏,在很大程度上取决于红外与可见光图像信息的匹配情况以及融合机制的好坏,因此,双模信息融合的行人检测技术具备实际研究应用价值。 本论文着眼于双模图像信息配准以及如何选定适宜的融合阶段与方式,进而构建出一套双模态的特征融合目标检测机制。该机制旨在充分融合红外与可见光模态的特征信息,以此达成提升行人检测性能的目标,主要研究及成果如下: (1)针对双模图像传感器采集图像时,可见光与红外传感器因焦距、视场、拍摄角度等因素,致使同一场景目标成像出现畸变、旋转、平移等错位问题,本研究基于SURF算法的图像配准方法,以双模态特征尺度空间为依托,进行关键点的定位操作,同时完成方向信息的配置,近似筛选特征点,通过计算特征点邻域梯度直方图构建特征向量,最后去除误配点,依据精确匹配点对确定变换矩阵,实现可见光与红外图像配准,对提升图像检测性能意义重大。 (2)针对单一模态难以进行复杂条件下的行人检测问题,本研究设计了一种基于YOLOv7的双分支多阶段的行人目标检测算法。首先,将YOLOv7模型骨干网络扩充为双分支结构,设计双模特征交互融合网络,通过融合特征指导下阶段特征生成,优化模态差异,获取更充分的特征。此外,采用MobileNetv2进行主体特征提取,保证检测精度的同时兼顾检测速度,以满足自动驾驶场景下的目标检测需求。 (3)针对双模图像模态信息交互贡献度不均以及在不同光照条件下模态融合信息不平衡的问题,本研究设计了一种基于YOLOv7的自适应差异特征融合行人目标检测算法。首先,设计了自适应差异融合模块,将输入的可见光与红外模态特征依据模态差异生成融合权重,对原始特征进行加权组合,实现模态互补;设计了自适应光照感知权重分配模块,利用可见光图像设计微型网络,通过预测光照强度值,自适应调整可见光与红外图像的加权融合权重,实现不同光照条件下可见光与红外图像的有效融合,提升网络在不同场景下目标检测的精确性与鲁棒性。 (4)针对智能交通场景,搭建一套全方位的全天候的双模行人检测系统,在各种条件下道路上行人目标进行实时检测,并且系统需要具有一定的稳定性,建立这样一套双模行人目标检测平台,不仅可以在复杂环境中精准识别行人目标,有效提升行人目标检测可视化能力,能够为自动驾驶等领域提供可靠的数据支持。

关键词： 计算机视觉   图像去雨   多尺度   生成对抗网络   渐进递归  

摘要： 为了解决传统生成对抗网络（GAN）在去雨问题中因网络容量不均衡而表现不佳的问题，提出了一种基于渐进递归的生成对抗单幅图像去雨算法。该方法采用了渐进递归模块生成器和多尺度特征模块鉴别器，旨在提高生成器效率并增强鉴别能力。渐进递归模块通过融合多尺度特征并构建渐进递归结构，不仅减轻了网络参数的负担，也提高了生成器的效率。与此同时，多尺度特征模块有助于鉴别器从局部和全局两个层面提取特征，从而增强了其鉴别能力。实验结果表明：相较于现有算法，本文算法在Rain100L数据集上峰值信噪比（PSNR）和结构相似性（SSIM）指标提高了1.11%和1.16%；在Rain100H数据集上将指标分别提高了3.28%和1.01%；在真实数据集上，本文算法在去雨任务中表现出色，成功地保留了大部分细节特征。这些实验结果充分验证了本文算法的有效性和鲁棒性。

摘要： 计算机视觉技术是实现自动驾驶的关键，在环境感知、决策把控以及安全维护等环节发挥重要作用。目前，自动驾驶面临复杂多变的道路环境、恶劣天气条件以及海量视觉数据处理等挑战，对自动驾驶汽车视觉系统提出了较高的技术要求。文章探讨计算机视觉在自动驾驶里的应用意义，分析当前计算机视觉技术在自动驾驶汽车中的应用面临的主要挑战，在多传感器融合感知、深度学习算法改良、轻量化神经网络设计等层面，提出优化自动驾驶视觉系统的一系列举措。依靠技术创新与多方配合，持续增强计算机视觉的感知、理解与预测水平，为自动驾驶汽车实现安全、高效、智能的发展筑牢根基。

关键词： 水下目标检测   YOLOv8   损失函数   轻量化   注意力机制  

摘要： 伴随着科学技术飞速发展,人类对资源的渴求也越来越严重,陆地资源的有限性导致社会发展的进度开始变得缓慢,资源供应不能满足需求,因此人们将视线盯在了拥有富饶广袤资源的海洋,海洋也由此成为资源采取的战略焦点。然而,海洋环境的特殊性使得人们在对海洋资源进行开采时遇到许多问题,提高开采效率成为一道难题。传统水下目标检测技术虽然能取得一定成效,但其计算复杂度高、内存占用大、能耗不匹配等问题直接制约着资源的开发效率。由于水下复杂的光学衰减、生物散射效应以及动态干扰导致图像出现特征模糊、对比度退化等问题,导致传统水下目标检测技术错检漏检的情况时常发生。此外,水下嵌入式设备受限于内存容量小与算力差,导致检测精度低下。在传统水下目标检测基础上,通过引入深度学习可以增强检测效率及减少检测时间,使模型的检测精度有效提升。因此,本文通过对YOLOv8模型进行改进,针对水下目标检测的问题进行优化,提高模型的检测精度,并且在改进后的模型上进行轻量化,提升模型检测速度。 针对受限于水下环境错综复杂导致检测精度低的问题,本文提出了一种改进YOLOv8的水下目标检测方法。首先,将双层路由注意力机制Biformer嵌入YOLOv8的骨干网络中,以此增强模型特征融合能力,提高多尺度特征交互效率,优化对小目标的检测能力。其次,采用DCNv4可变形卷积替换C2f结构中的3x3卷积模块,以增强空间聚合的动态特性和表达能力并优化内存访问提高速度。然后,在预测部分使用Wise-Inner-MPDIo U损失函数将交叉熵损失函数进行替代,使模型对不同目标及尺寸的自适应能力得到一定程度的提升。最后在水下目标数据集上进行实验,该方法的m AP达到了86.4%,相比改进前83.6%的m AP提高了2.8%,这充分表明本文方法能够有效增强模型在复杂环境下的鲁棒性以及检测精度。 针对上述改进后模型计算复杂度高导致目标检测速度慢的问题,本文通过对模型采取轻量化来降低复杂度。首先,将YOLOv8中的颈部网络PAFPN用BIFPN替换,并将注意力机制Sim AM嵌入其中,解决了现有注意力模块只能沿着通道或空间维度细化特征,限制学习跨通道和空间变化的注意力权重灵活性的问题,加快了权重计算。然后,在Head前引入S-RBlock浅层残差模块对特征图进行再加工,强化高层特征对模糊、细小目标的表达能力,提高检测头输入的语义完整性。通过在之前改进的模型上对同一数据集进行消融实验,计算量和参数量分别减少7.2G和20.4M,而精准度却保持不变,实验结果显示,轻量化后的模型在保持高精准度的同时,有效降低了模型复杂度,这表明该模型在进行水下目标检测种具有优异的性能。

关键词： 机载视频处理   目标检测   目标跟踪   语义特征增强  

摘要： 无人机作为一种新型的对地观测平台,具有运动灵活、航时长且能适应复杂飞行环境等优势。随着人工智能技术的发展与成熟,基于无人机平台的对地观测技术在交通监测、环境治理等领域拥有广泛的应用需求。无人机平台对地观测分为目标检测与跟踪两个阶段,目标检测阶段定位目标在视频帧中的位置和类别;目标跟踪阶段则基于检测结果,通过对目标在视频连续帧中的相似度判别实现目标跟踪,两者共同构成了无人机对地观测的技术体系。因此提升目标检测与跟踪算法的性能决定了无人机平台对地观测效果。然而机载大视场航拍视频存在背景信息复杂、目标尺度多样、小目标检测困难、目标密集排列、目标与无人机平台相对运动导致姿态变化、被遮挡以及运动状态复杂等问题。本文针对以上挑战提出了一种基于语义特征自注意增强网络的机载航拍视频目标检测与跟踪算法。具体研究如下: (1)在目标检测阶段,针对背景信息复杂度高,视场内存在大量干扰问题,本文构建了基于自注意力感知增强的特征提取网络。在特征提取网络中构建集成窗口位移注意机制与基于卷积神经网络的跨阶段部分聚合特征模块,增强算法的局部与全局感知能力,提高模型在复杂背景下的特征提取能力。 (2)在目标检测阶段,针对目标尺度多样、小目标检测困难与目标密集排列的问题,本文构建了基于上下文语义引导的特征融合网络。在特征融合网络加入小目标特征层,提高浅层特征的参与度以提升小目标的检测精度;引入上下文引导模块,增强模型在多尺度目标下的语义特征感知;在后处理阶段构建中心点距离损失函数,提高模型在目标密集排列情况下的判别能力。 (3)在目标跟踪阶段,针对目标运动时纹理细节与轮廓特征频繁变化以及被遮挡问题,本文构建了轻量级重识别网络。利用自注意机制增强目标特征的表达能力,弱化目标在运动过程中因姿态变化干扰以提升重识别性能,有效提升在目标纹理细节与轮廓特征变化与被遮挡情况下的目标跟踪精度。 (4)在目标跟踪阶段,针对目标与无人机平台间的相对运动导致目标运动状态复杂问题,本文构建基于距离交并比的关联匹配策略。通过综合衡量目标跟踪框与检测框的距离、重叠程度和尺度,提升跟踪过程中关联匹配的稳定性,降低目标跟踪关联中断的发生率。 基于以上研究,本文完成了基于语义特征自注意机制的机载视频目标检测跟踪技术算法的研发构建。本文在开源航拍数据集UAVDT数据集进行系统实验,充分验证本文在机载大视场航拍视频目标检测与跟踪方法的可行性与有效性。

关键词： 安全帽检测   目标检测   深度学习   YOLOv5  

摘要： 随着现代建筑工程的复杂度不断提升,高空作业等特殊施工场景的安全风险日益突出。近年来,由于施工人员未佩戴安全帽引发的高空坠落、物体打击等事故频繁发生,这些事故不仅对施工人员的生命安全构成了严重威胁,同时也对施工进度和工程质量造成严重影响。为了有效解决这一问题,基于施工现场图像数据构建了一个安全帽佩戴检测数据集,提取了不同环境下施工人员的佩戴特征,并针对这一数据集,设计并应用了基于YOLOv5的施工现场安全帽佩戴检测模型。该模型将施工人员和安全帽作为检测目标,通过网络训练与分类性能评估,所提出的模型在测试中取得了89.8%的检测精度。该方法不仅实现了全天候、全覆盖的自动化监管,极大提高了检测效率,而且有效降低了人工监管的成本。实验结果表明,该系统具备良好的鲁棒性,能够在复杂和多变的施工现场环境中稳定运行,满足施工现场安全管理的需求。

关键词： 草莓   目标检测   深度学习   光谱技术   无损检测  

摘要： 随着我国居民收入提升以及健康意识增强,消费者愈发注重水果的品质与营养价值。草莓富含维生素C、膳食纤维及多种抗氧化成分,深受消费者青睐,其市场需求持续增长。中国作为全球最大的草莓生产国,2022年种植面积达221.18万亩。优质草莓在市场上的竞争力增强,需求量持续增长。然而,现有草莓品质检测方法在无损性、实时性和精度方面存在不足,难以满足现代农业智能化需求。因此,研究高效、智能、无损的检测技术对提升产业质量和自动化水平具有重要现实意义。近年来,深度学习技术在水果识别与分割领域取得了显著突破,有效弥补了传统方法的不足。然而,该技术仍存在识别效率偏低和鲁棒性欠佳的局限性,制约了其实际应用。与此同时,可见光/近红外光谱分析技术凭借其低成本、快速、无损且精准可持续的优势,在农产品无损检测领域得以广泛应用,然而该技术仍存在检测指标单一、精度不足及系统稳定性较差的技术瓶颈。针对上述问题,本文开展了以下几方面的研究工作: （1）由于草莓的复杂生长环境、光照强度干扰以及草莓聚集导致的遮挡,成熟度识别具有较大挑战。为解决这些问题,本研究旨在开发一种精确检测和分类成熟草莓的算法。本文提出了一种新型LS-YOLOv8s模型用于草莓成熟度检测与分级,该模型基于YOLOv8s深度学习算法,并融合了LW-Swin Transformer模块。首先,在对比度增强过程中引入了两个新的随机参数,以控制增强效果。数据集从1089张图像扩展至7515张,在增加数据多样性的同时降低了模型过度拟合的风险。其次,在特征融合阶段,将Swin Transformer模块添加至TopDown Layer2,利用多头自注意力机制捕捉输入数据的长距离依赖关系,提高模型的泛化能力。最后,通过在Swin Transformer的原始残差结构中引入可学习参数的残差网络和尺度归一化,实现了更高效的特征融合网络。为了评估LS-YOLOv8s在草莓成熟度检测中的有效性,本文从草莓种植基地采集了一批草莓图像数据集,并采用5折交叉验证进行数据集划分,以优化模型评估过程。实验结果表明,LS-YOLOv8s在验证集上的mAP0.5分别比YOLOv5s、CenterNet和SSD提高了1.6%、33.5%和3.4%,表现优于其他模型。此外,该模型的检测精度和速度均优于YOLOv8m,仅使用约51.93%的参数量,就达到了94.4%的检测精度和19.23fps的检测速度,分别提升了0.5%和6.56fps。上述算法为草莓目标检测、成熟度评估及果园自动采摘管理提供可靠的理论支持。 （2）本文提出了一种基于高光谱图像和MPCD-Mamba的新型草莓无损质量检测方法,旨在解决传统检测方法成本高、效率低、准确率不足的问题。本文使用高光谱成像系统收集200个草莓样品,通过化学计量学确定其质量参数,并构建最优MPCD-Mamba模型以检测多种质量参数。数据集通过随机均值采样进行增强,并提出了动态聚焦Mamba模块（D-Mamba）,该模块能够选择性地关注多层次特征中的关键信息,有效抑制噪声和无关信息的干扰。此外,提出了分层选择性融合算法,通过减少DenseNet跨层连接的数量来降低计算复杂度,同时利用其特征重用性。实验结果表明,该方法在可溶性固形物含量（SSC）、pH值和硬度预测方面实现了较好的精度提升,其R2分别达到了0.9105、0.8272和0.9709。与传统方法相比,本文提出的方法在预测精度和检测效率方面均有明显优势,为草莓无损质量检测提供了重要的技术支持。 （3）基于上述研究工作,本文分别设计了可视化界面并实现了视觉检测的嵌入式部署。整个系统采用Python和PyQt5进行开发,确保了良好的用户交互体验和系统稳定性。在视觉检测方面,本文通过LS-YOLOv8模型实现草莓成熟度检测,并结合可移动双目相机采集草莓的深度信息,以实现更全面且便捷的检测。实验结果表明,该系统在自然环境条件下对草莓品质具有可靠的检测性能。针对草莓内部品质检测,本文开发了高光谱数据可视化界面,并基于MPCD-Mamba模型进行SSC、pH及硬度的内部品质的多指标预测。实验结果表明,该系统可有效提升检测精度,为农业生产中的智能化检测提供了可行方案,并为相关技术的发展奠定了坚实基础。