关键词： 跌倒检测   卷积神经网络   目标检测   可变形卷积   可变形注意力  

摘要： 在养老护理、医院监护及智能安防等场景中,跌倒事故严重威胁着人们的生命安全,尤其是老年人和行动不便者更容易遭受跌倒带来的二次伤害。因此,除了提供及时的救援措施,如何实现高效、精准的跌倒检测以减少意外风险,成为亟待解决的问题。计算机视觉技术为跌倒检测提供了一种非接触式、低成本的解决方案,但现有方法在复杂环境、光照变化及目标被遮挡等情况下仍存在检测精度不高、误检率较高等问题。针对上述挑战,本文开展了以下两方面的研究工作: (1)为了解决传统目标检测算法在应对人体跌倒场景时存在的局部特征捕捉不足和边界框回归精度不高的问题,在YOLOv8的基础上提出了一种改进的人体跌倒检测算法(STW-YOLO)。在骨干网络中结合SCConv(空间通道混合卷积)和Triplet Attention(三重注意力机制),增强网络对目标区域的关注能力,提高对跌倒特征的表达能力,使模型在复杂场景中对跌倒目标的定位更加精准。同时,针对目标框回归问题,优化了损失函数,提高检测框的回归精度,减少目标偏移现象。为了确保算法的适应性和泛化能力,本文还构建了一个包含多种跌倒场景的自建数据集,涵盖室内、室外、不同行为姿态及光照条件,以增强模型对真实环境的适应性。实验结果表明,STW-YOLO在跌倒检测任务上相较于标准YOLOv8算法,该方法的平均精度(m AP@0.5)提高了1.6%。 (2)为了准确识别人体姿态以及减少背景干扰,提出了一种基于可变形卷积和可变形注意力的跌倒检测算法(FALL-YOLO)。首先,我们融合了可变形卷积和标准卷积并将其融入到了颈部网络中,通过学习偏移量从而允许卷积核自适应地调整形状和位置,更好地捕捉不同姿态下的特征。此外,我们引入了一种专注于图像内人体区域的可变形注意机制,通过动态调整关注区域,能够更好地过滤掉无关背景信息,专注于人体及其姿态变化。最后,我们将高效层聚合网络应用在跌倒检测中,能够有效地融合来自不同层次的多尺度特征信息,使得模型对不同尺度的特征更加敏感和准确。实验结果表明,FALL-YOLO在跌倒检测任务上相较于标准YOLOv8算法,该方法的m AP@0.5和m AP@0.5:0.95提高了2.7%和3.1%,为智能监控系统中的跌倒检测提供了有效的解决方案,具有广泛的应用前景。

关键词： 涂层缺陷检测   太赫兹成像   图像处理   超分辨率   深度学习  

摘要： 涂层材料在工业现代化进程中发挥了非常重要的作用,是防护领域和绿色制造的关键一环,涂层材料的发展关系到机器人产业发展,机器人表面涂覆涂层材料可保护重要机械结构延长机器人使用寿命,控制好机器人涂层质量是贯彻高质量发展的关键环节之一。传统涂层检测技术存在人工成本高、操作复杂、可视化能力弱、内部检测能力有限等问题,均难以满足对涂层内部缺陷的定量及可视化分析的要求。太赫兹(Teraherts,THz)技术作为新兴的电磁波技术,具备非接触性、高分辨率、非破坏性等优点,在涂层内部缺陷检测领域具备极大的发展潜力。论文主要围绕环氧树脂材料的涂层内部缺陷参数定量检测及缺陷部位成像表征展开研究,本文研究内容主要包括: (1)将Real-ESRGAN超分辨率图像重建技术引入THz光谱成像中,结合去卷积图像重建方法实现了对THz图像的增强。针对THz光束的类高斯光束特性,存在光束焦点不在待测样品表面影响成像清晰度的问题,引入去卷积图像重建技术对THz频域图像进行处理,基于THz设备参数和样品参数构建6个不同穿透深度PSF去卷积重构函数,当THz光束的穿透深度设置为2 mm时,图像重建效果最优。针对THz设备脉冲光源光斑直径限制了二维平台扫描点的数量的问题,结合SR图像重建技术提高THz图像分辨率,以2 mm去卷积重建图像作为参考图像,采用Real-ESRGAN算法对其进行4倍SR重建,将THz图像的分辨率从225×140放大到900×560,增强了图像细节显示能力,重新构建了较高分辨率的THz图像。结合有参考和无参考的客观评价标准,得到PSNR值为26.886 d B,SSIM值为0.9135,MOS值为0.6436,验证了Real-ESRGAN算法对THz图像质量上提升的有效性。同时对比了不同SR算法的重建效果,通过BI、BD、BN、DN四种不同的降采样方式模拟太赫兹降质图像,与SRRes Net、EDSR、SRGAN、ESRGAN四种经典SR算法对比,验证了Real-ESRGAN算法在THz图像SR任务的优势,并在涂层样本上开展了实验验证了算法的有效性,为后续涂层内部缺陷可视化分析提供了依据。 (2)利用THz时域测厚模型建立了涂层内部缺陷厚度的二维、三维图像,结合图像超分辨率与阈值分割技术成功估算出较精确的涂层缺陷体积值。针对涂层内部隐藏缺陷检测问题,制备环氧树脂缺陷涂层样品,采用透射式THz时域光谱系统检测并获取样品THz光谱信息,根据光谱曲线信噪比筛选截取光谱特征信息波段,分析对比频段内成像效果最终选择成像频率为0.54 THz附近。通过傅里叶变换获取频域信号,计算提取涂层材料的光学参数,改进飞行时间法建立透射式THz涂层厚度定量计算模型,计算涂层内部缺陷厚度大小并分析该方法的缺陷厚度检测范围,获得最小检测缺陷厚度区间需大于0.4 mm,基于厚度计算值进行二维、三维图像重建,分析验证厚度成像的可视化表征优势。采用THz成像技术对涂层样品进行可视化分析,对比选择合适的成像方式,结合频域最优成像频段获得的THz图像吸收谱信息,获取图像像素直方图,基于本文所搭建的去卷积Real-ESRGAN超分辨率重建模型,结合图像分割技术获取涂层内部缺陷的高清二值化图像,构建提取THz图像区域面积及体积计算模型定量估计涂层缺陷尺寸大小及缺陷定位,对比分析频域图像和超分辨率图像的定量检测能力,提高了THz成像技术对涂层缺陷的定量分析能力,同时开展了反射式光谱检测研究,验证了该方法在反射式光谱检测上的可行性,为涂层内部缺陷检测提供了一种新的思路。 (3)基于MATLAB上的APP Designer开发平台设计软件并实现涂层内部缺陷可视化及定量检测功能。软件包括涂层缺陷成像系统、涂层图像重建系统、涂层缺陷检测系统三种功能,设计了多种涂层THz光谱预处理方法和多种成像功能、THz图像去卷积重构及基于深度学习方法的Real-ESRGAN超分辨率图像重建功能、基于图像分割的涂层缺陷区域尺寸自动提取定位及厚度和尺寸的定量估算功能。用户导入测量光谱数据之后通过图形化界面操作即可得到涂层内部缺陷的THz图像,一键进行图像去卷积重构处理及超分辨率重建任务,自由查看涂层内部缺陷各个区域厚度及面积、体积等尺寸参数,跳过复杂的代码操作,简单形象的实现涂层内部缺陷的定量检测及可视化分析。 论文基于太赫兹成像及图像处理技术实现了对涂层内部缺陷的定性定量研究。探究了一种用于增强太赫兹图像可视化能力的图像重建方法,结合太赫兹成像方法及图像重建技术实现涂层内部缺陷区域自动提取及定量分析,开发了一款MATLAB软件实现了涂层缺陷分析的各个功能。为后续涂层缺陷检测提供了参考。

关键词： 红外与可见光图像   图像融合   局部特征   全局特征   语义特征   目标检测  

摘要： 可见光传感器依靠物体表面反射光原理在大多数场景中获得高分辨率图像,但在如雨、雾等复杂天气条件下,可见光传感器往往难以充分捕捉场景细节和目标特征。红外传感器能够克服上述复杂条件下成像阻碍,获得具有显著目标特征的图像,但由于分辨率低,红外图像难以清晰描绘细节信息。因此,红外与可见光图像融合能够集成跨模态互补特性,生成信息丰富的融合图像,在多种复杂场景中表现出强大的鲁棒性,其丰富的特征表达以及高亮的目标信息不仅改善了复杂场景下图像视觉效果,而且有助于提升复杂场景目标检测性能。在夜间、低光照、恶劣天气等条件下,红外与可见光图像融合在视频监控与侦查,隐藏危险品识别,反恐与搜捕,夜间交通管理和犯罪侦查等多个公安场景中具有显著的应用价值。针对公安实战工作需求以及红外与可见光图像融合研究现状,本文面向目标检测任务提出多种红外与可见光图像融合算法,本文的主要研究内容和创新点如下: (1)针对现有算法中局部细节特征保留不充分且无法有效整合深度学习网络逐层输出特征的问题,提出一种基于卷积神经网络(CNN)的编解码器结构(PG-Fusion),编码器负责特征提取,解码器用于获取融合图像。特征提取模块中的双流金字塔结构逐层整合与保留编码器输出的红外与可见光特征,其多层结构与注意力机制能改善浅层与深层特征之间的语义鸿沟,多尺度梯度残差块的设计确保模型捕获足够的源图像纹理细节,基于滑动窗口比较策略的损失函数引导网络保留更显著的信息。大量实验表明,PG-Fusion在保留局部梯度信息和提升目标检测任务性能方面具有明显优势。 (2)针对现有算法中跨模态全局特征建模不足的瓶颈问题,提出一种基于分头密集Transformer的融合网络架构(SDTFusion)。首先,特征提取模块由基于交互式分头注意力机制的密集Transformer构成,在捕获单模态长程依赖和跨模态互补特征的同时显著增强网络全局上下文建模能力;其次,交互门控融合模块利用跨模态逐元素乘积运算平衡红外与可见光图像中的竞争性信息(如红外热强度与可见光纹理细节),促进特征融合;最后,可学习的多层细节注入机制辅助图像重建过程,有效提升融合结果的视觉效果。在主流基准数据集上的实验表明,SDTFusion的全局建模能力较好且能够提升多种高级视觉任务性能。 (3)针对现有算法中视觉-语义跨层次协同不足的问题,提出一种基于Mamba的融合框架(MVSFusion),该框架由特征提取分支、图像融合分支和目标检测分支构成,通过构建视觉特征与语义信息闭环交互机制,能够实现图像融合与目标检测任务协同优化。具体地,在Mamba中嵌入注意力引导的局部卷积有效增强边缘细节的表征能力;建立逐层语义注入机制,将基于目标检测的全局语义嵌入视觉特征重建过程,提升融合图像对复杂场景的语义理解;基于互补模态权重调节语义特征表达,同时利用增强的语义表征反向优化视觉特征融合。跨数据集实验表明,MVSFusion融合性能优越且能够提升多种场景下目标检测准确度。 最后,基于公开的M3FD、LLVIP数据集,结合公安工作常见复杂场景,通过实验分析比较三种不同算法在白天小目标场景、夜晚城市场景和烟雾场景下图像融合与目标检测性能,为公安一线实战部门提供可参考的技术支撑。

关键词： 变电站异物   目标检测   图像去雾   改进YOLOv8n  

摘要： 随着中国的现代化进程不断推进,新型电力系统的提出,各种各样的新能源并网,确保电力系统的稳定性变得愈发重要。能源互联网的提出更是让变电站在电力系统中的地位进一步升高。面对变电站中数量和种类繁多的电气一次设备,如何有效地检测和清除异物变成了一个重要的研究课题。基于上述问题,本文对变电站异物检测进行研究,针对摄像头由于恶劣天气而拍摄到的有雾图像而造成检测效率低下,以及现有异物检测算法准确率低的问题,提出了改进AOD-Net的图像去雾算法和基于改进YOLOv8n的变电站异物检测算法,设计了基于图像处理的变电站异物检测系统,对于变电站中的一次设备存在的异物进行检测。实验结果表明,本文改进的去雾算法相较于之前的算法对于图像还原度有明显提升,而改进的检测算法效果相对于之前的算法提升了1.5个百分点。对于变电站异物检测研究具有重要的参考价值。本文主要研究工作如下: 1.针对变电站视频监测过程中,因户外恶劣天气等因素导致采集的图像出现雾霾,且现有去雾方法在恢复图像细节方面效果不佳的问题,基于AOD-Net网络模型,提出一种改进的AOD-Net去雾算法。采用细节增强卷积,并结合基于CGA的特征融合方法改进AOD网络中的K估计模块,提升网络特征学习能力和去雾性能。通过在NYUv2公共数据集制作去雾数据集和自制变电站去雾数据集上进行实验,实验结果表明改进的算法在PSNR和SSIM评价指标上更优异,主观评价上更清晰,易于进行下一步的检测任务。 2.针对变电站异物检测精度低、部署困难等问题,基于YOLOv8n网络模型提出了一种EL-YOLOv8n变电站异物检测算法。首先,结合SCConv双通道高效卷积改进骨干特征提取网络,其次,在颈部网络引入双级动态路由注意力机制,以便网络更好的提取目标信息。通过设置对比实验和消融实验进行验证,实验结果显示,EL-YOLOv8n算法准确率较高,检测效果较好。 3.搭建基于图像处理的变电站异物检测软件平台,通过设计软件平台进行图像的采集和去雾检测,构建可视化变电站异物检测界面,实现变电站异物的准确检测。 图[48]表[9]参[87]

关键词： 深度学习   多模态图像融合   实时检测   目标跟踪  

摘要： 随着智能安防、自动驾驶和遥感监测需求的不断增长,传统单模态检测算法在极端光照波动、雨雪雾霭干扰以及小目标密集分布等复杂场景中常常面临特征表征歧义和检测鲁棒性下降的问题。尽管多源信息融合已被广泛应用以增强目标检测性能,但在跨模态特征交互阶段,仍存在语义对齐困难、冗余信息干扰及动态场景下目标轨迹中断等问题。为此,本文提出了一种基于红外与可见光双模态协同感知的检测与跟踪算法,以缓解上述问题。主要研究成果如下: 针对当前红外-可见光双模态目标检测算法在环境适应性、跨模态特征融合效率及小目标漏检率等方面存在的不足,本文提出了一种红外-可见光协同的端到端检测架构IV-YOLO。该方法首先构建了双分支特征提取架构,利用神经网络分别捕获红外分支中的热辐射轮廓与可见光分支中的纹理细节;其次,设计了双向特征金字塔融合结构(Bi-Fusion),通过跨尺度双向交互机制实现层次化语义对齐,并采用自适应权重确保融合效果的平衡;同时,设计了混洗注意力空间金字塔池化模块(Shuffle-SPP),通过通道混洗策略打破模态特征的固化分布,并结合空间金字塔感知域以增强对目标区域的聚焦能力。进一步地,在网络颈部增设了微小目标检测层,通过高分辨率浅层特征保留微小目标的空间信息,并引入方位感知PIoU v2损失函数,以优化长尾分布下的梯度分配。实验结果表明,IV-YOLO在Drone Vehicle、FLIR及KAIST数据集上的平均精度分别达到了74.6%、85.6%和75.4%,验证了该方法在复杂场景下的鲁棒性与泛化能力。 在目标跟踪方面,本文主要针对多模态检测结果在跟踪任务中容易出现的遮挡与运动模糊导致轨迹中断等问题,本文提出了一种基于检测的跟踪算法——CMLSTrack。该方法充分融合了LSTM与卡尔曼滤波器的优势,构建了LSTM-KF框架,实现了对目标运动时序依赖性的建模,并利用卡尔曼滤波器对运动噪声进行实时校正,从而有效解决了遮挡和运动模糊引起的轨迹断裂问题。同时,本文设计了级联匹配结合运动先验的匈牙利算法,通过对目标置信度进行分级和引入运动轨迹相似性约束,进一步优化了目标关联过程,显著降低了复杂场景下的误匹配率。实验结果显示,该方法在RGB-T234与LasHeR数据集上的跟踪精度分别达到了83.2%和58.6%,充分验证了其在动态和遮挡环境中的优越性能。

关键词： 无人机   目标跟踪   图像处理   相关滤波   自动驾驶  

摘要： 基于判别相关滤波(DCF)的跟踪算法因其高效的计算性能,在无人机(UAV)跟踪领域不断取得突破。近年来,如何充分挖掘历史信息并灵活调整跟踪响应已成为相关滤波(CF)框架发展的重要方向。本文对现有目标跟踪技术进行系统梳理,针对当前跟踪算法在高动态环境中存在的传感器噪声干扰、运动速率不一致以及模型高复杂度等问题展开讨论,提出了两种新的实时跟踪器:动态敏感增强相关滤波(LDECF)和全变分调控相关滤波(TVCF)。 为应对动态视频中传感器噪声干扰以及目标和环境运动速率不一致的挑战,本文提出LDECF跟踪器,一种引入了动态敏感策略并结合了自适应二阶差分空间正则化的方法。具体而言,首先在特征提取前采用非局部均值(NLM)算法对模板图像进行去噪,增强目标轮廓的判别能力。随后,将动态敏感误差策略融入CF学习框架,并设计了一种新颖的自适应二阶差分空间正则化,使其与动态敏感误差策略协同工作,实现滤波器系数与空间正则化权重的同步优化。进一步地,引入交替方向乘子法(ADMM)优化器来求解该问题,提升算法的收敛性和计算效率。 相比之下,TVCF则在兼顾跟踪性能的同时更加注重减轻模型的复杂度。其核心在于引入全变分调控模块(TVCM)。该模块可嵌入任意滤波器学习过程中,在降低调参难度与时间成本的同时提升性能。具体而言,本文首先创新性地提出TVCM,实现了对不同外部先验信息模块强度的自适应调节;随后,通过结合历史数据中的序列特征,提出了一种感知环境突变方法,以验证TVCM的有效性。该方法在不同场景下训练和优化滤波器,使每个场景均能学习到最优的感知模型。 为了验证两种方法的有效性,本文在三个极具挑战性的无人机跟踪基准数据集上进行了大量实验,并与现有模型进行了对比。实验结果表明,本文提出的两种方法在性能与泛化性方面均显著优于现有模型。其中,LDECF在高度动态环境下提供高精度的跟踪能力,而TVCF则以轻量化和简易部署的方式满足多样化应用需求,为无人机目标跟踪领域的进一步研究与实际应用提供了新思路。

关键词： 计算机视觉   神经网络   道路缺陷检测  

摘要： 阐述通过对比分析传统机器学习、神经网络以及深度学习的病害图像识别技术路径，并结合某路段PCI评估显示的严重病害问题，提出融合半监督学习与显著性检测的裂纹检测方法。实验结果表明，与SegNet、DeepCrack等全监督模型相比，该方法检测准确高，可为智慧道路养护提供技术支持。

关键词： 光学遥感图像   深度学习   目标检测   无锚框   轻量化网络  

摘要： 光学遥感图像目标检测在灾害监测、作物估产、基础设施规划以及国防安全等领域中发挥着不可替代的作用。随着遥感卫星和无人机平台的广泛应用,海量遥感数据的实时智能解译需求呈指数增长,这对遥感目标检测技术的精度与效率提出了更高的要求。然而与通用目标检测不同,遥感图像中存在目标尺度差异巨大、不同类型目标的形态差异明显以及目标背景复杂等问题,这些因素使得遥感图像目标检测变得尤为困难;此外,由于遥感平台或其它无人机平台的功耗、内存和算力限制,现有基于深度神经网络的高精度遥感目标检测模型难以满足实时处理的需求,以及实现高效的边缘部署。因此,针对上述问题,本文致力于在无需预设锚框的前提下,构建兼具高精度与低复杂度的目标检测框架,论文的主要工作内容如下: (1)针对遥感图像中小目标较多、目标尺度差异较大以及目标背景复杂等问题,本文提出了一种无锚且高效的单阶段目标检测模型。首先,提出了轻量化的自注意力上下文感知模块,通过自上而下和自下而上的两条路径,将特征提取网络的上下文信息注入到特征融合网络,以增强多尺度特征之间的信息交互。其次,提出了优化的残差收缩网络来消除多尺度特征融合中的背景噪声和冲突信息。最后,通过使用细粒度卷积增强解耦头的信息表达,以进一步提高小目标对象的检测准确性。实验结果表明,本文的遥感目标检测算法能够较大程度改善多个场景下目标尺度差异较大、小目标较多和背景信息复杂导致的检测问题,同时网络可以保持较好的实时性能。 (2)针对遥感目标检测中现有模型对目标形状与位置感知能力不足,以及复杂网络结构导致计算效率低下、实时性差的问题,本文提出了具有形状和位置信息感知能力的高效遥感图像目标检测网络。首先,构建基于可变形操作与Transformer相结合的特征提取架构,在提升遥感图像中复杂目标信息表征能力的同时加速模型训练收敛。其次,设计了格拉姆(Gram)采样,以防止网络采样过程中遥感目标位置和形状信息的丢失。最后,提出了具有空间重建机制的解耦头,通过引入组归一化和门控制机制来调整输入特征的信息流,使模型可以在预测过程中准确提取目标形状和位置信息。在三个公共遥感数据集上的实验结果表明,该模型在性能上优于许多现有的方法。 (3)针对遥感应用场景中边缘部署对模型实时性的要求,本文提出了高效的轻量化遥感目标检测模型。该模型结合了局部和全局信息处理机制,通过设计轻量化的特征提取网络和高效路径聚合网络(LWPAN),结合全局信息感知增强模块,显著提升模型在遥感场景中的特征提取效率。同时,应用动态阈值策略优化正样本选择过程,提升模型的检测效率。实验结果表明,本文提出的方法在检测精度和实时性方面取得了很好的平衡,并且在算力有限的嵌入式设备上也表现出了良好的性能。 综上所述,本文提出的算法模型改善了遥感图像目标检测中存在的目标尺度差异大、小目标多、背景信息复杂以及模型复杂度高的等问题。通过在公开光学遥感图像数据集上的实验结果表明,所提模型在保持较高检测精度的同时显著提高了模型效率,更有利于在边缘设备上的部署。本论文的研究内容有助于推动遥感图像目标检测技术的普及,具有重要的实际应用价值。