关键词： 暗光目标检测   Retinex理论   机器视觉   暗光图像增强  

摘要： 随着深度学习的发展,自动驾驶、安防监控、人脸识别等技术已经再日常生活中广泛应用,而暗光环境下的目标检测问题逐渐成为计算机视觉领域中的重要研究方向。传统的目标检测算法通常在光照良好的环境中训练和测试,而在暗光条件下,这些算法的性能显著下降,主要表现在图像对比度的降低、细节丢失以及背景噪声的增加等问题。暗光图像增强网络能够提升如目标检测等下游任务的检测性能,然而大多数方法都忽略了两个问题:(1)面向人类视觉的暗光图像增强算法不一定适用于暗光场景下的目标检测任务,存在增强过程耗时久、检测结果精度低的问题;(2)对暗光图像进行全图增强是非必要的,背景中的噪声会在增强时被放大而误导目标检测器。 针对第一个问题,本文提出基于高效语义引导的机器视觉暗光增强网络EMV。EMV基于Retinex理论图像分解机制与深度学习特征增强技术,通过与目标检测模型YOLOv3进行端到端连接,构建出EMV-YOLO联合优化框架。区别于传统级联式处理方法,本框架通过端到端的联合学习范式,实现了图像增强与目标检测任务的协同优化。具体而言,该模型包含两个核心模块:1)基于物理先验的Retinex分解网络,通过可学习的图像分解模型将输入图像分解为反射分量与光照分量;2)语义引导的潜在空间特征增强模块,采用语义注意力机制使网络可以自适应地对图像中有用的语义信息进行增强,从而提升图像的目标特征表现。EMV-YOLO在Ex Dark和Dark Face两个典型暗光数据集上的实验分别取得79.7%和57.4%的m AP50检测精度,较基线YOLOv3模型(76.4%/48.3%)实现3.3%和9.1%的显著提升,验证了EMV-YOLO的有效性。 针对第二个问题,本文提出了面向目标区域增强的机器视觉暗光增强网络TGE-Net。TGE-Net突破传统全图增强范式,建立基于目标导向的差异化增强机制,通过与YOLOv3构建TGE-YOLO联合检测框架,实现了前景特征强化与背景噪声抑制的协同优化,从而避免了背景特征的变化和噪声的放大。在训练过程中结合了知识蒸馏技术,利用预训练的语义分割模型SAM对TGE-Net进行指导,学习前景和背景的语义信息。通过对分割得到的背景添加过滤掩码,尽可能使得增强仅发生在目标区域,从而提升了目标检测的准确性。通过在Ex Dark和Dark Face数据集上的实验表明,TGE-YOLO分别达到80.0%和57.6%的m AP50检测精度,较EMV-YOLO(79.7%/57.4%)提升0.3%和0.2%,验证了TGE-YOLO的有效性。 综上所述,本文提出的算法能够有效解决暗光环境下目标检测中的关键问题,为此类问题提供了新的解决方案,并在实际应用中具有重要的价值和意义。

关键词： 目标检测   对抗攻击   3D对象分类   超图学习   生成对抗网络  

摘要： 三维(3-Dimensional,3D)目标检测是智能感知领域的核心技术,其核心任务是对环境中的3D对象进行准确分类,直接影响系统的场景理解与决策能力。然而,点云数据的非结构化特性、多特征融合的复杂性以及对抗攻击问题,导致现有方法在高阶关系建模、动态适应性和安全性方面仍存在不足。 针对上述问题,本文提出了一种针对3D对象分类的动态超图学习方法,通过深度映射对齐GVCNN和MVCNN提取的几何与视觉特征的语义空间,并采用三阶段递进式创新设计构建动态超图,进而捕捉特征间的高阶相关性。该方法不仅可以增强几何和视觉特征的表征灵活性,还能在降低计算成本的同时,提升对抗攻击下的鲁棒性。首先为提升模型的适应性与拓扑表达能力,本文提出基于多特征注意力与饱和度指标的动态超边调整策略,该方法可动态优化超边连接结构,而且在保持分类精度的同时控制计算开销。此外针对特征空间表示受限的问题,本文提出基于生成对抗网络的超边特征采样方法,该方法通过对抗训练约束生成器,在潜在空间中合成具有语义一致性的多样化超边特征,生成的多样特征不仅能丰富超图的拓扑关系表达,而且能提升模型在特征不足或异构特征对齐偏差场景下的泛化性能。最后为强化系统的鲁棒性,本文引入基于超图结构的多层级防御机制,该机制通过超边稳定性分析和节点一致性验证检测对抗样本,并采用基于拓扑重要性的动态重构机制隔离受攻击节点,提升模型在对抗扰动下的鲁棒性。 在Model Net40与NTU2012数据集上的实验表明,所提方法分别以99.02%和95.28%的分类准确率优于基线模型,并在FGSM和PGD对抗攻击下分别以98.98%和99.03%的准确率保持鲁棒性,为3D对象分类任务提供兼具高精度识别与强鲁棒性的动态超图学习新范式,有力推动智能感知领域中3D目标检测技术的发展。

关键词： 炮位雷达   弹道滤波   神经网络   无迹卡尔曼滤波  

摘要： 炮位雷达是地面炮兵作战的主要侦察装备，主要通过对弹道目标实施跟踪来完成侦察校射任务。现有的炮位雷达普遍采用线性卡尔曼滤波算法实现弹道目标滤波，在滤波过程中使用状态空间线性方程组进行目标状态估计和协方差估计。由于弹道目标运动轨迹呈现出的非线性特征，在滤波过程中容易引入较大的过程误差。文中针对传统弹道目标滤波算法中存在的上述问题，建立了弹道目标反向传播(BP)神经网络模型，用于滤波预测。为了建立精确的神经网络模型，利用多种环境因素生成数据集，进行BP神经网络训练。结合神经网络预测的特点，选取无迹卡尔曼滤波(UKF)算法作为基本滤波框架。仿真结果表明，BP-UKF具有比UKF更快的收敛速度和更高的滤波精度。

关键词： PCB缺陷检测   YOLOv5   目标检测   注意力机制   损失函数优化  

摘要： 随着电子产品向高精度、高密度和小型化方向发展,印刷电路板(Printed Circuit Board,PCB)作为电子设备的核心组件,其制造质量直接关系到产品的稳定性与可靠性。传统的人工目视检测与自动光学检测(Automated Optical Inspection,AOI)在面对复杂背景、小目标缺陷和环境干扰时,易产生误检和漏检,已难以满足现代工业对高效和精准检测的需求。因此,基于深度学习的目标检测技术为PCB缺陷检测提供了更具智能化的解决思路。 本文围绕PCB缺陷检测中的小目标识别困难、特征提取能力弱和实时性要求高等问题,对YOLOv5s模型进行了结构优化,提出一种改进模型YOLOv5-pbe,并基于该模型设计实现了一套高效实用的PCB缺陷检测系统。研究内容主要包括: 1.数据预处理与增强:针对数据样本有限和缺陷特征不明显问题,采用图像锐化和阈值分割等方法增强图像对比度,强化缺陷区域特征:同时结合YOLOv5原生的数据增强策略,提升数据分布多样性和模型泛化能力。 2.模型结构优化:提出YOLOv5-pbe模型,实施四项关键改进: (1)在主干网络中引入点基自注意力机制(Point-wise Self-Attention Mechanism,PSA),增强对关键区域特征的提取能力; (2)将PANet替换为BiFPN,提高多尺度特征融合效果,优化对微小缺陷的感知能力; (3)增加P2高分辨率检测头,提升对小目标的检测精度; (4)将损失函数从CIoU替换为EIoU,提高边界框回归准确性。 3.检测系统设计与实现:基于PySide6、Open CV和Py Torch等,开发集图像检测、视频检测和摄像头实时检测于一体的检测系统。系统支持模型推理、缺陷标注展示和结果存储等,具备良好的交互性与工业适用性。 4.实验验证与性能评估:在实际数据集上,通过消融实验与对比实验对模型性能进行测试。结果显示,YOLOv5-pbe在检测准确率、召回率和m AP@0.5等指标上均优于YOLOv4、YOLOv7、YOLOv8等主流算法,最终达成98.8%的检测精度、95.4%的召回率和97.2%的m AP@0.5;推理速度达30 FPS,具备良好的实时性和部署价值。 综上所述,本文提出的YOLOv5-pbe模型及检测系统在工业PCB缺陷检测中表现出卓越的精度与效率,具备良好的推广应用潜力。未来可进一步开展模型轻量化、跨平台部署及多类型缺陷融合检测等研究,以提升系统的普适性与智能化水平。

关键词： 深度学习   低空视角   YOLO   目标检测   特征融合   密度估计  

摘要： 当今数字化时代,随着算力的飞速提升与人工智能技术的不断突破,计算机视觉领域迎来了发展的黄金时代,目标检测作为计算机视觉领域的重要研究之一,也取得了显著的进展,多种创新性的目标检测算法层出不穷。低空视角下的目标检测具有独特的应用场景与使用优势,广泛应用于安防监控、低质勘探、航空航天等领域。由于低空视角下的目标与自然视角下的目标的尺度存在差异,且更易受到环境干扰,通用的目标检测算法无法有效的应用在低空视角下的目标检测任务中。本文深入研究低空视角下目标的特性和现有目标检测算法存在的检测缺陷,如易受复杂环境干扰、模型参数量较多、高密度区域检测效果差等问题,提出一系列针对性的改进策略,使改进后的目标检测算法能够有效的应用于低空视角下目标检测任务中。本文的主要研究内容如下: (1)对训练使用的数据集进行低空视角下复杂环境的模拟,通过引入多种天气条件、运动模糊和随机噪音,显著增加样本的复杂性,这一举措使模型在训练阶段充分学习潜在的复杂情况,从而在实际应用中提升检测精度可靠性。在算法结构方面,引入K-means++聚类算法分析数据集,生成更适合低空视角下目标尺度的候选框。设计一种轻量化多尺度特征融合模块,引入跨尺度特征交互机制,强化小尺度目标特征的重要性同时减少模块参数量,解决了小尺度目标特征在模型学习过程中易被忽视的问题,显著提升了模型对于小尺度目标的检测精度。 (2)针对低空视角下目标背景复杂,干扰物众多的问题,在模型颈部网络引入3D无参注意力机制,结合能量函数,通过空间-通道维度自适应增强关键特征响应。改进非极大值抑制算法,引入Soft NMS算法,动态调整检测框的置信度,有效减少了模型对于小尺度目标的漏检问题。本文对上述改进方法分别进行对比实验与消融实验,验证改进方法的优势同时明确各改进策略对于模型性能的独立贡献,实验结果表明上述改进措施在目标检测模型的精度或速度方面均有所提升。 (3)针对低空视角下密集区域与远景区域目标检测效果差的问题,提出一种由密度估计网络引导的目标检测算法。设计自适应高斯核尺寸,根据不同尺寸的目标动态调整高斯核的大小和标准差,从而实现目标密度图预测。使用掩膜法与最小外接矩形法,对生成的密度图中密集区域和远景区域进行剪裁,将剪裁后的图片进行自适应上采样,以提高图像分辨率。将剪裁后的图像分别送入目标检测网络中,检测结果与原图检测结果相融合。最后,通过非极大值抑制算法删除多余的候选框,得到最终的检测结果。本文设计对比实验并展示可视化检测效果图,验证了该方法能够有效的提高低空视角下密集区域与远景区域目标的检测效果。

关键词： 自动驾驶   多模态   目标检测   自适应   注意力机制   深度学习  

摘要： 近年来,人工智能技术的发展推动了自动驾驶方案的落地。在自动驾驶系统中,感知系统是保障车辆安全运行的重要一环,其中3D目标检测任务是其重要组成部分。目前主流3D目标检测任务普遍会使用激光雷达和可见光相机两种传感器进行多模态检测任务。多模态目标检测任务有着高鲁棒性的特点,但是其对每种模态数据的质量要求较为严格,若其中任意一种模态的数据质量有问题,则会影响最终检测精度。本文针对目前多模态目标检测算法中存在的问题展开研究,本课题主要工作如下: (1)提出了伪点云生成及稠密补全算法。由于点云近密远疏的性质,导致远处的点较为稀疏,难以有效表征远处目标。因此本课题使用可见光图像生成伪点云对点云进行补全。首先使用PENet算法进行深度估计获得图像的深度图;然后再使用内外参矩阵将2D深度图转换为稠密的伪点云;最后提出基于原始点云的分阶段引导滤波算法对伪点云进行滤波,将滤波后的点云添加到原始点云文件中,完成对点云的稠密补全,解决由于点云过于稀疏导致的检测效果不佳的问题。 (2)设计了自适应特征增强融合结构。由于激光雷达和可见光相机获取数据的方式不同,在不同工作环境下,点云文件和图片文件包含的信息量不相同,从而影响融合特征的质量,因此本课题提出自适应特征增强融合结构。首先将从图像中提取到的语义特征映射到点云中,统一两者的格式;然后使用语义特征增强空间特征,让形状特征学习到重点语义的位置,变为富语义空间特征;最后使用自适应加权的方式融合富语义空间特征和形状特征,使其在不同工作环境下可以自适应调节不同模态的重要性,从而提高检测算法的精度。 (3)提出了基于3D注意力机制的双阶段多模态目标检测算法。多模态目标检测算法相比于单模态检测算法多了一种模态的输入,存在更多冗余信息,因此可能会影响算法精度。故本课题通过引导网络关注重要信息的策略来提高检测精度。首先本课题选择使用平移窗口的多层视觉Transformer骨干网络,增强图像特征的提取能力;然后添加基于三维空间的注意力模块,在不增加网络参数的情况下,为特征提供注意力权重,使其更加关注有用信息;最后在检测头部分使用了双阶段3D检测头,提取出感兴趣区域后引用体素池化操作的方法提取感兴趣区域特征进行重点检测,解决冗余信息过多的问题。

关键词： 小样本学习   目标检测   罐口定位   数据增强   共性蒸馏   注意力机制  

摘要： 随着人工智能技术的迅速发展,机器视觉逐渐成为工程数字化与自动化的热门技术,被广泛应用于工业场景。然而,在散装水泥罐车罐口识别任务中,由于目标结构特殊且环境复杂,训练样本获取困难,导致常规目标检测方法难以直接应用。尽管小样本目标检测(Few-Shot Object Detection,FSOD)能够缓解样本稀缺问题,但是在现实中,不同的目标检测领域,要识别的目标不同,由于罐车罐口与其他类别的相似度降低,也就是基类(base classes)与新类(novel classes,如罐口)之间的语义差异显著,基类知识向新类迁移的效率较低,模型泛化性能受限。本文针对以上问题出发,对散装水泥罐车罐口识别技术进行研究,主要内容如下: 1)针对小样本数据不足的问题,首先构建了散装水泥罐车罐口专用数据集,涵盖多视角、多光照条件的图像并完成精细标注;其次,通过改进数据集映射器,改变数据加载模式,通过动态增强提升训练多样性;提出自适应多尺度特征融合增强方法(Adaptive Multi-scale Feature Fusion,AMFF):通过构建特征金字塔对单图像进行跨层融合,同时对双图像执行标注框对齐、特征层匹配与语义融合,生成兼具目标特征增强与背景噪声抑制的新样本。得到的不同融合结果的图像,可以达到图像生成、特征增强、背景去噪的目的,以此来增强模型目标检测的能力。实验表明,该方法使HTRPN模型在罐口数据集上的检测精度显著提升,nAP、nAP50、nAP75三个指标分别能够提升4.8%、6.0%和6.6%的精度,验证了该方法的有效性。 2)针对传统知识蒸馏方法在跨域共性提取中的低效问题,本文提出一种改进的注意力增强多方面蒸馏框架(Attention-enhanced Multi-faceted Distillation of Commonality,AMDC)。该框架分两个重要阶段优化:特征提取和共性蒸馏。在特征提取阶段引入软注意力(Soft attention)模块,通过一系列卷积和归一化操作,生成空间注意力权重,用这个注意力权重与特征图相乘,可以使得模型在特征提取的过程中强化目标区域特征;在共性知识蒸馏阶段,利用自注意力(self-attention)机制动态建模基类与新类特征相似性,提升共性知识蒸馏迁移效率。实验证明,改进的注意力多方面蒸馏方法相较原基线方法在nAP、nAP50、nAP75三个指标上分别提升了13.3%、5.5%和18.0%的精度,且与自适应多尺度特征融合数据增强方法相结合使用的模型达到最优性能。

摘要： 在全球能源转型的大背景下,风能作为一种清洁且可再生的能源资源,得到了广泛的关注和应用。风电叶片作为风电机组将风能转化为机械能的核心部件,其设计和制造技术的进步显著提高了风电系统的整体效率1。人们为了寻求单台风电机组对于风能更高能量的转换效率和发电量更为显著的提升,不断增加风电机组的叶片尺寸,然而机组叶片尺寸的增长与安装台数的增多给风电机组叶片的监测和检验带来了极大的不便。叶片在长时间的运行过程中,常常面临环境因素的影响,如强风、冰雪、雷击等,导致叶片表面出现不同程度的开裂、鼓包和雷击等损伤。这些损伤如果不及时得到检测和修复,可能会导致严重的安全隐患和经济损失2。