关键词： 图像复原   暗通道   目标检测   RetinaNet   注意力机制  

摘要： 煤矿井下图像视频监控系统是保障安全生产的关键工具,能够在设备或人员发生危险操作时及时发出警报,确保安全隐患得到迅速处理。然而,井下监控设备常受粉尘和水雾的影响,导致图像质量下降,进而影响监测人员及时发现问题。为解决这一问题,本文对图像去雾算法和行人目标检测技术进行了研究,重点改进了以下几个方面: (1)针对传统方法中因大气光强估计不准导致图像亮度降低的情况,本文结合了亮通道先验理论,在经典暗通道理论的基础上,提出了一种新的局部大气光强估计方法,以改善图像复原效果。 (2)针对暗通道先验的去雾算法在图像去雾过程中出现的颜色偏暗和目标边缘轮廓模糊等问题。通过分析双边滤波的工作原理,利用像素灰度差异构建了规整化的权重系数,并引入了自适应调节函数以动态调控该系数的变化,从而有效增强了图像边缘的处理能力,提高了细节保留和图像复原质量。 (3)针对复原图像亮度不足的问题,设计了一种自适应调节函数能够根据环境的变化自动调节图像亮度,使其在不同条件下保持较好的可视性。 (4)在人员目标检测方面,本文基于RetinaNet网络提出了一种优化的E-RetinaNet算法。通过特征通道和信息融合,引入注意力机制,提升了模型对小目标的检测精度和整体收敛速度。实验表明,优化后的模型不仅提高了特征提取效率,还显著减少了参数量,达到轻量化设计的效果。 通过对比实验表明,本文提出的图像去雾算法和行人检测算法不仅提升了图像恢复质量和检测精度,还在保持较快检测速度的同时,实现了算法的轻量化。 图32表4参99

关键词： 深度学习   计算机视觉   视频显著性预测   注意力机制   特征提取与融合  

摘要： 视频显著性预测是计算机视觉领域中的核心基础任务之一,旨在模拟人类视觉注意力机制,定位视频中最具吸引力或最容易引起观众注意的区域。该任务的研究成果对视频理解、目标跟踪、视频压缩、人机交互等多个关键应用领域具有重要意义。现有的视频显著性预测方法通常包含两个主要阶段:时空特征提取和时空特征融合。在时空特征提取阶段,许多方法依赖于三维卷积神经网络(3D Convolutional Neural Network,3DCNN)来实现时空特征的联合建模。然而,3D卷积在捕捉时空特征的长程依赖关系方面存在局限性,这限制了方法性能的进一步提升。与此同时,在时空特征融合阶段,现有的大多数方法存在融合操作简单、忽视对浅层特征的有效利用且复杂场景下的预测结果不准确的不足,从而降低了模型的表现力。针对上述问题,本文结合深度学习技术,分别从时空特征提取和时空特征融合两个阶段展开渐进式的研究,提出了两种改进的视频显著性预测方法,主要研究内容如下: (1)提出了一种基于多层级时空注意力的视频显著性预测方法MLSA-Net,该方法设计了一种新的编码器架构,该架构由全局编码器、注意力编码器、交互注意力模块和语义相关注意力模块组成。具体来说,MLSA-Net将视频帧图像及其对应的局部注意力切片作为输入,分别通过全局编码器和注意力编码器进行编码,从而产生四个不同分支的输出。考虑到不同层级语义信息的丰富程度存在差异,本文在四个分支的最浅层设计了交互注意力模块,该模块在输入的全局特征流和注意力特征流上集成了自注意力机制,通过自注意力机制在全局和局部两个层面上构建时空特征的长距离依赖关系,进一步强化了局部区域的显著性变化。此外,本文在四个分支的最深层设计了语义相关注意力模块,该模块基于Transformer架构实现,通过多头自注意力机制和多层感知机,语义相关注意力模块不仅能够有效建模长距离依赖关系,还能进一步挖掘视频区域间的结构相似性,从而提升显著性预测的精度。 (2)提出了一种基于多尺度上下文感知的视频显著性预测方法MSCA-Net,该方法设计了一个多尺度特征感知模块和一个误差修正模块。多尺度特征感知模块以主干网络提取的多尺度时空特征作为输入,通过自顶向下和自底向上的双向路径引导不同尺度的时空特征进行融合。与其他方法中常见的简单融合操作(如相加或连接)不同,该模块在两条路径中分别集成了门控机制和注意力融合模块,用于引导不同尺度的特征进行更加精细的融合。此外,对于复杂场景下的视频显著性预测任务,仅依赖多尺度时空特征融合策略不足以有效应对视频中的复杂背景和细节丰富的显著性区域,因此,本文进一步设计了误差修正模块,该模块通过学习初始预测结果和真值图之间的残差来进行误差修正从而生成更精确的预测结果。 (3)在视频显著性预测领域的三大公开数据集上,将本文提出的方法与同期方法进行了全面的比较,实验结果表明,本文所提方法在五项定量指标和主观视觉感知方面均表现出较佳的性能。此外,消融实验进一步验证了所提方法结构的合理性以及各个组件的有效性。

关键词： 目标检测   基于检测的目标跟踪   YOLOv5   DeepSORT   UWB定位  

摘要： 随着自动化和智能化技术的快速发展,低速自动跟随设备已成为智能交通、智慧零售和无人化服务等领域的重要研究方向。特别是在超市、机场等场所,低速自动跟随设备能够提升用户体验,简化操作流程。低速跟随设备实现精准智能跟随的关键在于对目标的精准识别和稳定跟踪。然而,传统的目标检测与跟踪方法在目标被遮挡时容易发生漏检和ID切换现象,严重影响实际应用效果。针对上述问题,本文提出了一种融合多模态信息的目标检测与跟踪方法,以提升目标检测的准确性和跟踪的稳定性,为后续低速跟随目标提供可靠的技术支持。本文主要研究内容如下: (1)在目标检测阶段,针对YOLOv5算法对部分遮挡目标检测效果较差的问题,本文提出了一种融合超宽带(Ultra Wide Band,UWB)定位信息的YOLOv5目标检测算法。首先,利用UWB技术通过双边双向测距获取目标相对于基站的测距值,并利用三边定位法计算出目标相对于基站原点的坐标;随后,通过透视变换将获得的UWB定位坐标映射到图像像素坐标系中,在YOLOv5算法完成推理生成所有候选框后,基于像素坐标和测距值构建候选框优化区(Candidate Box Optimization Region,CBOR),对区域内的候选框进行置信度增强。这种方法通过UWB提供的信息,有效降低了非极大抑制(Non-Maximum Suppression,NMS)过程中剔除被部分遮挡目标的候选框的概率。 (2)在目标跟踪阶段,为解决DeepSORT算法在遮挡恢复后出现的ID切换问题,本文提出了一种融合步态特征的DeepSORT目标跟踪算法。首先通过DeepSORT自带的外观特征提取网络提取检测结果的外观特征。然后基于YOLOv5检测结果,利用定长滑动窗口缓存目标图像序列,采用图像处理技术提取目标轮廓,并输入Gait Part模型获取目标的步态特征。进一步,将步态特征与外观特征进行加权融合,形成更稳定、丰富的特征用于目标匹配。同时,本文将DeepSORT算法中原有的交并比(Intersection over Union,Io U)匹配策略优化为考虑目标中心距离的DIo U(Distance-Io U)匹配,进一步提高额目标跟踪的准确性。 (3)为验证所提方法的有效性,分别在自制数据集上进行目标检测和跟踪实验。实验结果表明,融合UWB定位信息的YOLOv5检测算法相比于原算法,平均精度提高了2.6%,且能够检测出被部分遮挡的目标;融合步态特征的DeepSORT算法较原算法,MOTA(Multiple Object Tracking Accuracy)指标提高了3.1%,IDF1(Identity F1 Score)指标提高了4.3%,能有效减少目标遮挡恢复的场景下的ID切换。

关键词： LED芯片   深度学习   目标检测   自建数据集   YOLOv8n   检测设备  

摘要： 随着全球科技的迅猛发展,LED因其低功耗、长寿命和高光效等优点,越来越多地取代传统照明技术,广泛应用在照明、显示和通信等领域。然而,在LED芯片的制造过程中,表面缺陷会显著降低产品的性能和可靠性。为了应对这一挑战,实现准确检测与分类LED芯片的表面缺陷成为提高产品质量和生产效率的关键环节。传统的检测方法主要依赖于人工目视检查和基于规则的机器视觉算法,这些方法在检测大目标缺陷时虽然有效,但对微小和复杂的缺陷却收效甚微。此外,人工检测不仅效率低、成本高,而且容易因操作者疲劳或经验不足而导致误判。因此迫切需要更加智能和高效的方法来进行缺陷检测。 近年来,深度学习能够自动从大量数据中学习特征,并进行精确的分类和目标检测的功能,正因如此深度学习也为LED芯片表面缺陷检测提供了新的可能。 首先本研究与LED芯片半导体供应商紧密合作,自主构建了一个丰富且全面的数据集。该数据集涵盖了多种典型的表面缺陷类型,包括污染、划痕、墨点等。这些缺陷不仅会在不同的生产阶段可能出现,而且会显著影响LED芯片的性能和可靠性。通过对样本图片进行一系列筛选、增强后形成三千多张样本图片,然后使用CVAT标注工具进行细致的标注和分类。该自建数据集为后续算法的训练与优化提供了坚实的基础,确保了模型能够更精准地识别和区分各种缺陷类型,此外还增强了后续检测设备的实用性和可靠性。 接着提出一种改进YOLOv8n的LED芯片表面缺陷的检测算法,称为YOLOv8n-TDDS(YOLOv8n-Target Detection of Defects on Chip Surfaces),该算法通过引入视觉多尺度融合模块(C2f-Visual Multi-scale Fusion Module,C2f-VMFM)替换原始的C2f模块、将原本的金字塔池化层改进成空间感受野金字塔池化层(Spatial Receptive Field Pyramid Pooling,SRFPP)以及加入分组通道洗牌模块(Grouped Channel Shuffle Module,GCSM),减少了模型体积的同时增强了对小目标缺陷的识别能力。实验结果表明,YOLOv8n-TDDS相较于YOLOv8n不仅在模型大小与之保持了一致,还在平均精度(m AP)上提高了7.4%。 最后本研究通过与相关的智能科技公司合作,共同开发了一套完整的自动化检测设备样机一台并配备上位机一套。该设备结合一款200万像素的高帧率工业相机(1080P@165.5fps)与具备重复定位精度高达±0.3μm,分辨率为0.05μm的高精度运动控制平台,上位机软件兼容深度学习框架并利用YOLOv8n-TDDS算法进行LED芯片的表面进行缺陷检测,大大减轻了人工负担,减少了主观性,提高了检测的准确性和一致性。

关键词： 计算机视觉   深度学习   古文字检测   密度图   Mamba  

摘要： 古文字作为研究古代历史、文化和社会的重要资料,不仅是历史的见证者,更是中华文明溯源工程的重要载体。古文字不仅记录了中华民族的历史和文化,还塑造了中华民族宝贵的精神品格。随着计算机技术的快速发展,古文字数字化已成为文化遗产保护的重要途径,而古文字检测是古文字自动化识别和数字化管理的关键环节。然而,古文字拓片图像上的文字往往大小不一且分布稀疏,包含大量的小文字和复杂的背景噪声,这给现有的基于计算机视觉的深度学习方法带来了巨大的挑战。此外,古文字的考释工作需要大量已标注的古文字图像数据,即使是经验丰富的考古学家也需要投入大量的时间和精力才能完成标注任务。因此,开发准确、高效的古文字检测算法具有重要的实际应用价值。 针对以上问题,本文以密度图为基础,提出了两种古文字检测方法,主要的研究内容如下: (1)针对古文字图像中文字尺寸大小不一、分布稀疏、小文字数量众多且具有背景噪声复杂的问题,本文提出了一种基于细粒度密度图的古文字检测算法(FDM-Net)。该算法引入密度图作为关键技术,设计了一个基于语义的密度图生成网络(SDMNet),利用与类别相关的语义向量信息,关注文字在图像不同区域出现的概率分布。然后,基于密度图对原始图像进行裁剪,并融合裁剪图像和原始图像的检测结果,确保裁剪图像以及检测结果的可靠性。同时,本文还提出了一种由密度图指导的非极大值抑制策略(NMS-DM),增强文字中心区域预测边界框的置信度,同时抑制非中心区域预测边界框的置信度。实验结果表明,该算法在甲骨文检测数据集(ODD)上的召回率达到了81.9%,同时展现出较高的精确率和优异的泛化能力。尤其是在小文字检测任务中,该算法表现出更出色的性能,有力证明了其有效性与优越性。 (2)针对现有基于计算机视觉的古文字检测模型在细粒度特征提取和长距离依赖关系捕获能力较弱的问题,本文受到密度图的启发,提出了一种基于目标中心点的无锚框古文字检测模型(AFDCP-Net)。该模型首先利用由Res Net18构成的特征提取层初步提取特征;其次,通过尺度集成层构成的特征解码层提取多尺度特征,并利用上采样操作恢复特征的空间分辨率;最后,在回归检测模块中引入Mamba层进一步挖掘长距离依赖关系,再经过三个检测头分别输出预测边界框所需的密度图、中心点偏移和宽高信息。实验结果表明,该模型以更少的参数量增强了细粒度特征提取能力,有效降低了复杂背景噪声的干扰,实现了古文字检测性能的提升。此外,该模型的FPS达到了40.2,在保持较高检测精度的同时显著提高了处理速度。 通过对比实验和消融实验,验证了本文所提出的两种古文字检测方法的有效性,在古文字检测任务中均实现了不同程度的性能提升,充分证明了所提方法的合理性,为古文字数字化研究提供了新的思路,有利于进一步推动文化遗产的保护工作。

关键词： 视频目标检测   Transformer   时空特征聚合   查询增强  

摘要： 视频目标检测是计算机视觉领域中一项具有挑战性的任务.由于视频目标受尺度多变、运动模糊等影响,同时现有算法在特征聚合方面存在不足,限制了检测性能提升.为提高视频目标检测精度,本文提出了一种基于Transformer的视频目标检测方法.首先,设计了一种基于时空可变形注意力的时空特征聚合层,并将其融合到Transformer编码器中实现对目标帧与参考帧的多尺度时空特征聚合编码;其次,提出了一种通过特征-查询交互实现查询增强的方法,在Transformer解码器中直接利用参考帧的时空特征来增强目标查询,使目标查询可以充分学习全局时空信息.该方法充分利用Transformer编码-解码架构的优势,有效增强了目标帧特征与查询的时空信息表示能力.在ImageNet VID和UA-DETRAC数据集上的实验结果显示,该方法在基于ResNet-101骨干网络上的平均精度(mAP)可达到86.0%和90.9%.

关键词： 深度学习   目标检测   CA注意力机制   Wasserstein距离   Focaler-EIoU  

摘要： 在近年的时光里,遥感技术经历了迅猛的发展,遥感图像在国防、军事行动中都占据了不可或缺的地位。但是,面对遥感图像数量的急剧增长,传统的手读方式或手动设计的图像特征提取方式已经不能满足不断增长和多元化的需求了。在深度学习技术领域中,目标检测已经取得了显著的研究突破。然而遥感图像目标的排列更为集中,背景的复杂性也相对较高导致检测精度下降。为解决上述问题,本研究设计了一种优化的目标检测算法,并构建实验系统界面,做出多组实验进行充分实验验证。本文的主要研究工作内容如下: (1)构建遥感图像目标数据集并采用了Labelimg方法进行数据标注;针对数据集中目标实例数量的明显差异,对数据集进行数据增强以扩充实验样本;针对遥感图像在雾天这种恶劣环境下的图像进行处理。 (2)针对YOLOv8模型在检测遥感图像目标中存在的由于目标较小以及目标间距离近造成的检测精度下降的难点,采用Focaler-EIoU取代CIoU作为边界框损失函数,使边界框回归效果得到进一步提升;将归一化Wasserstein距离引入损失函数以增强小目标检测准确性;利用高分辨率视觉模型Efficient Vi T改进主干网络结构,并且融合深度可分离卷积模块既保持了模型轻量化,又提供了良好的模型感知能力;在颈部网络中引入CA注意力机制并加入Slim-Neck新型头部构架以及Ghost模块,提升了对目标特征的提取能力。 (3)设计并搭建了遥感图像目标检测实验系统,并利用NCNN深度学习框架,成功地部署在了移动设备中以进一步证明算法的实用性。 实验结果表明,本文提出的改进的YOLOv8模型相比原YOLOv8模型,mAP提升了2.4%,相较于其他主流的目标检测算法,这一改进后的模型在检测遥感图像目标方面表现出更高的准确性。

关键词： FPGA   焊缝检测   焊缝质量评价   YOLO v8-DEGS   图像处理  

摘要： 焊接是现代制造业的工艺之一,实现高质量、高可靠焊接需要焊缝的实时检测与质量评价。但是一方面目前的焊缝检测在硬件上主要采用激光视觉系统与CPU处理单元,虽然能够通过检测激光中心线条纹特征变化实现0.02mm的检测精度,但受CPU核心数与内存带宽的限制而导致焊缝检测滞后性大、丢帧率高,导致了激光中心线提取的准确度与处理速度之间的矛盾;另一方面现有的焊缝质量评价算法因为模型和数据处理的复杂性,存在着计算量大、实时性欠佳的问题。本文针对于上述两个难题提出了一种基于现场可编程阵列(FPGA)的焊缝实时处理与检测系统,并结合深度学习算法来实现焊缝的缺陷识别及质量评价,主要包括以下内容: 1)焊缝检测硬件架构设计:基于直射式激光三角测量原理,搭建焊缝检测系统。硬件架构采用Zynq 7020异构平台,利用PL(可编程逻辑)端并行处理功能和PS(处理系统)端控制能力,借助AXI总线协议构建高效图像采集、处理与传输系统。图像采集单元采用双CMOS相机,其中一路与850 nm线激光发射器及窄带滤光片构成结构光传感器,实现焊缝表面形貌的实时扫描,确保了焊缝图像数据的高效获取。 2)焊缝图像处理:本文提出了一套完整的焊缝图像处理流程,以提高焊缝特征信息的提取精度。该流程包括灰度化处理、改进自适应中值滤波、OTSU自适应阈值分割、形态学闭运算、Zhang-Suen细化算法及加权灰度重心法。针对焊缝图像中椒盐噪声较大的问题,提出动态窗口自适应中值滤波算法,在有效去噪声的同时保持边缘信息,确保焊缝特征的完整性与识别精度。此外,为优化光条中心线提取精度,引入Zhang-Suen细化的加权灰度重心法,克服传统灰度重心法的光条中心提取不准确与实时性差的弊端,并通过流水线处理优化代码执行流程,提高系统资源利用率与实时性。 3)焊缝缺陷识别及质量评价:本文采用CMOS相机采集焊缝原始图像,并上传至上位机,结合YOLO v8-DEGS深度学习模型,实现对裂纹、气孔、未熔合等10类常见焊缝缺陷与正常焊缝的智能识别。基于尺寸阈值、数量阈值及权重结合的方式,构建了一套量化的焊缝质量评价模型,提高了评价结果的科学性、客观性和可解释性。实验表明,该模型在检测精度及推理速度方面均优于现有同类方法。 4)实验环境搭建与结果分析:本文搭建了焊缝实时检测与质量评价系统,并通过实验验证了算法的有效性。在自适应中值滤波实验中,所提出的方法在不同密度椒盐噪声图像上的降噪效果优于现有滤波算法。在实际焊接焊缝的检测实验中,所提出的图像处理方法表现出良好的鲁棒性和准确性,并进一步完成焊缝缺陷实时检测及质量评价分析实验,验证了所构建检测与评价体系的合理性与可行性。