关键词： 深孔   轴线   光杠杆放大   直线度   图像处理  

摘要： 为实现大长径比小孔轴线直线度的高精度测量，提出一种光杠杆图形投影的轴线直线度测量方法。在检测系统中利用光轴直线传播与光杠杆放大原理，结合远距离投影面型的相关性，采用图形轮廓提取与中心坐标计算的方法，确定远距离投影屏上的轴线位置。根据像素坐标变换和空间坐标转换方法对提取的中心点坐标进行修正，从而获取大长径比小孔的轴线直线度。通过原理样机的研制和相关性能的测试，对内径8 mm、长度300 mm的超大长径比（长径比大于5至10为深孔，大于20为大长径比孔）深孔零件的轴线直线度进行了测试，实现5μm以内的重复性检测精度。

关键词： 分布式光纤传感   小波去噪   小波阈值   振动信号   ROTDR系统  

摘要： 分布式光纤传感(distributed optical fiber sensing,DOFS)凭借图像处理技术,利用多维信号的高度相关性与冗余信息有效抑制信号噪声。该技术无需额外硬件即可显著提升信噪比和测量精度并扩展光纤传感的监测距离,在工程实践中优势突出。目前,优化DOFS的图像处理算法以增强检测性能和适用性成为研究重点。 拉曼光时域反射仪(raman optical time domain reflectometer,ROTDR)基于拉曼光散射效应可实现光传输路径的高精度温度分布测量。在分布式温度监测领域备受关注。然而,提升信噪比和测温精度仍是其面临的核心难题。鉴于温度信号具有时空分布特性,采用图像处理技术进行降噪具有独特优势。本文围绕ROTDR系统与小波降噪技术开展研究,分析小波参数对降噪效果的影响并加以优化,旨在提高测温精度。主要研究内容及创新成果如下: (1)针对小波降噪技术性能优化问题,深入研究了小波阈值与阈值函数的改进方法。传统阈值方法依赖于对噪声特性的准确估计,但在复杂环境中噪声往往难以准确获取。为此,本文基于信号自相关函数(autocorrelation function,ACF)提出参数评估指标,实现小波阈值的自适应优化。同时,针对软、硬阈值函数可能导致恒定偏差和伪吉布斯现象的问题,提出基于双曲正切函数的连续非分段阈值函数,并引入调谐因子实现平滑过渡,有效抑制伪吉布斯振荡。通过对去噪后光纤振动信号的信噪比(signal-to-noise ratio,SNR)等指标进行分析,验证了所提出方法的有效性。实验结果表明,改进的小波方法(Enhanced DWT)可有效去除加性高斯白(additive white gaussian,AWG)噪声,较Universal阈值法平均SNR提高1.01 d B,较仅改进ACF阈值法平均SNR提高0.72 d B;能显著去除基线漂移、电力线噪声、肌肉伪影等真实噪声,较现有去噪方法SNR提高了数倍至数十倍;可有效去除实测光纤振动信号的噪声并更完整地保留信号特征。 (2)为满足分布式光纤测温系统(distributed temperature sensor,DTS)高精度温度测量的应用需求,构建了集成窄线宽激光器、波分复用器、光电探测器及高速数据采集卡的高精度DTS系统。此外,基于C#开发上位机软件,具备数据采集、温度解调、可视化及存储功能。该软件支持光纤全局温度分布的实时监测,还能精确记录特定位置的温度变化。 (3)针对ROTDR信号的小波去噪(wavelet denoising,WD)参数优化问题,提出基于噪声自相关函数方差(variance of noise autocorrelation function,NACFV)的二维小波阈值优化方法,充分挖掘ROTDR信号的时空信息。该方法依据噪声的不相关特性优化小波阈值。通过对理论二维信号的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)指标分析,并结合实测ROTDR视觉对比实验验证,结果表明,该方法有效增强了二维小波去噪性能。在85°C水温下,8 km多模光纤末端的测温精度可达0.7°C以内,且能基本保持原空间分辨率。

关键词： 单源域泛化   目标检测   文本到图像扩散模型   SAM  

摘要： 视觉识别是计算机视觉的核心研究领域之一,旨在赋予机器“看懂”世界的能力。其中,目标检测作为一项基础且关键的视觉识别任务,专注于定位并识别图像中的特定物体,是众多下游应用的基石。近年来,扩散模型在文本到图像生成等生成任务中取得了突破性进展,激发了研究者们将其应用于更广泛视觉任务的浓厚兴趣。尽管现有研究已初步证实扩散模型中间层特征在语义分割、深度估计等任务上的潜力,但其在目标检测这一核心视觉识别任务中的应用探索仍相对有限。基于此,本研究致力于深入探究扩散模型在目标检测及其跨域场景中的特征表示能力与应用潜力,以期为扩散模型在复杂视觉识别任务中的应用开辟新途径,进一步拓展其应用前景。本文的主要研究内容如下: (1)面对如何将扩散模型用于目标检测任务的问题,本研究提出基于场景prompt引导框架Diff-OD,包含三个关键技术:扩散模型提取图像特征模块、场景prompt生成模块和交叉注意力定位增益机制。场景prompt生成模块根据当前输入图像输出对应的文本提示以对齐图像文本模态信息,而后图像和文本提示一同输入至扩散模型,我们抽取其中间层表征作为扩散特征,再将扩散模型内部图像和文本进行交叉注意力计算的结果作为位置信息增益与扩散特征concat,形成最终的图像特征,而后将其输入至经典目标检测模型Faster r-cnn以实现目标检测。实验结果表明,我们的方法显著优于基于Res Net101和CLIP作为特征提取器的基准方法,并与当前最先进的视觉主干网络Conv Ne Xt达到可比的性能水平。 (2)针对提升基于扩散的目标检测模型在不同数据集中泛化性的问题,本研究提出了一种新的框架:基于扩散的单域泛化目标检测模型SDGDiff,该框架结合了预训练的文本到图像扩散模型和基础分割模型,以实现单域泛化目标检测(S-DGOD)。文本到图像扩散模型能够生成跨多样风格和环境的高保真图像,这展示了其在图像中解耦域不变特征和域特定特征的潜力。同时,基础分割模型(如SAM)擅长捕捉不同域下输入图像的视觉细节和区域信息。我们利用这些模型的中间表示,使目标检测模型能够在未知域中实现泛化。实验结果表明,我们的方法在Diverse-Weather数据集上创造了新的记录。特别是在最具挑战性的Night-Rainy场景中,SDGDiff达到了22.1的mAP值,相较于之前的最好模型绝对提升了2.9mAP,证明SDGDiff的优越性和有效性。

关键词： 目标检测   特征提取   注意力机制   特征融合  

摘要： 目标检测无论在工业界还是学术界都有着广泛的研究需求与应用场景。表面缺陷目标检测在日常生活安全性、产品质量及生产效率诸多方面具有重要作用,同时推动相关技术进步和跨领域应用。基于深度学习的目标检测技术近年来备受青睐,在表面缺陷检测场景下有一定的实用性,本课题基于深度学习的YOLO目标检测算法模型,提出并改进了两种基于不同应用场景下的检测方法,具体工作如下: 本文主要从两个方向对YOLOv5模型进行优化:第一个方向,本文提出基于改进特征提取算法的YOLOv5网络模型,此方法使用深度可分离卷积模块(Inception Ne Xt block)保留浅层特征来减少信息特征流失,在此基础上加入可变形卷积算子DCNv3改进网络模型的特征抓取能力。第二个方向,本文提出基于内容引导注意力机制(Content-Guided Attention,CGA)的目标检测识别算法,该模型在基础网络的基础上加入通道注意与空间注意,使模型能够更加准确地定位不同具有区分性的局部特征。 (1)针对目前带钢表面缺陷检测算法精度不高的问题,提出了一种基于改进特征提取算法的YOLOv5网络模型。首先,引入深度可分离卷积模块,减少信息特征流失,提高模型特征提取能力;其次,将提取后的深浅层特征进行融合,实现多尺度信息表征;最后,使用可变形卷积算子DCNv3,改善目前存在的感受野和位置偏移问题,对特征图采样位置进行调整,提升目标检测性能。实验结果表明,在NEU-DET数据集上相较于原YOLOv5算法平均精度均值(m AP)提高3.4%,该方法具有良好的检测性能,具有一定的应用价值。 (2)针对路面小缺陷检测准确率低、漏检率和误检率高且缺陷类型均匀分布的数据集难以采集的问题,提出一种基于内容引导注意力(CGA)的改进网络模型方法。在颈部网络末端和头部网络之间引入内容引导注意力机制,对融合后的特征图进行加权,融合不同层次的特征,强化特征提取能力,并抑制无关特征的干扰,提高模型对多尺度目标的检测能力。实验结果表明,模型参数量控制在7.5M,与原YOLOv5算法相比,以Precision 80.9%、m AP 87.2%、Recall 96%的优异表现超越对比算法;计算效率:在保持单帧推理速度(68.8FPS)的同时,GFLOPs降低至15.6;资源消耗:GPU显存占用较基线模型减少23%,CPU利用率下降18%,能够高效率地检测道路缺陷目标。

关键词： 深度学习   图像分割   目标检测   空间定位   复杂场景  

摘要： 随着人工智能技术的不断发展,制造业智能化转型进程不断加快,但是在现有的工业基础上实施智能化改造仍面临诸多挑战。仓储系统是制造业核心组成部分,工厂在不同生产工序之间设置线边仓以便于快速流转,这些仓储环境的货物具有不便于包装、堆叠无序等特点,这导致传统的自动化仓储系统难以有效运作。同时对于目前较为流行的机器视觉算法模型,由于货物没有包装并且可能杂乱堆放,会存在遮挡和伪装等干扰,使得在这种复杂的环境中进行货物分类和定位较为困难。为了寻求鲁棒性更好并且精度更高的模型,本文通过提升SAM2的分割性能,对YOLOv8的多模态融合,设计了“分割-识别”两阶段任务框架,并结合双目相机对复杂环境中的货物实现高精度识别和定位,以下是本文的具体内容: 1.利用分割大模型SAM2的泛用性,在其编码器中针对不同编码阶段分别设计适配器结构,集成EMA机制进行模型微调,使得改进后的SAM2能够很好地理解复杂环境图像的每一个实例,对存在遮挡、伪装等干扰的实例进一步提升分割精度。 2.将YOLOv8的单分支三通道RGB图像输入调整为双分支四通道,以便同时支持RGB图像和深度图的输入,通过中期融合和引入CBAM动态调整不同维度的权重将两分支进行特征融合,使得改进后的YOLOv8保持高速的同时具有更强的空间感知能力。 3.对分割模型的结果通过二维仿射变换进行调整,使其能够将RGB图像分割结果映射到利用双目相机获取的深度图上,再设计“分割-识别”两阶段任务融合,使得识别模型能够利用分割结果进行更高精度识别定位。 4.搭建仓储系统识别定位系统,对一个实际工厂环境构建数据集,经分阶段模型微调与联合训练验证,系统在复杂仓储场景中展现应用价值。

关键词： 深度学习   目标检测   目标跟踪   自动直播   个性化直播  

摘要： 体育赛事因高观赏性和强对抗性,长期以来受到广泛关注,积累了庞大的观众基础。随着观众对直播内容需求的日益增长,传统的直播模式已难以满足观众的个性化需求。观众不再满足于被动接受摄像师拍摄的内容,而是更倾向于自主选择观看的主体。在此背景下,个性化的直播体验逐渐成为未来直播行业发展的新兴趋势,能够为观众提供更加灵活和多样化的观赛选择。为此,本文提出了面向篮球赛事的个性化体育直播关键算法,并搭建了一种个性化体育赛事直播系统。本文的主要内容和创新如下: (1)为高效且准确识别场内篮球,提出一种基于特征增强与层级消融的篮球小目标检测算法。算法以性能稳定的YOLOv7作为基线模型,在维持实时检测的基础上,提升了对篮球小目标的检测精度。首先,为深度挖掘目标特征,引入多尺度空洞注意力特征提取模块;其次,设计层级消融的特征去噪模块获取目标的增强特征表示;最后,使用归一化的高斯Wasserstein距离代替交并比,降低目标坐标回归时对位置偏差的敏感度。该方法在篮球检测数据集上,保持近30 FPS的检测速度的同时,m AP50较基线模型提升超过7%,有效改善了篮球小目标检测性能。 (2)为增强球员身份关联的稳定性,提升球员多目标跟踪准确度,提出一种基于外观关联与迭代扩展的球员多目标跟踪算法。首先,引入混合特征关联框架融合球员的外观特征与运动特征,增强密集遮挡场景下球员外观关联能力;其次,使用可扩展交并比代替传统交并比,通过迭代扩展的方式调节边界框的覆盖范围,减小球员快速变向带来的运动预测误差。算法选用YOLOv7+Bytetrack作为基线组合,在确保运算速度不显著下降的前提下,在篮球球员跟踪数据集上,HOTA指标提升了约5%。 (3)为实现个性化直播,提出了一种基于双目摄像头的个性化体育直播方案。首先,基于双目摄像头采集全景视频流,完成球与球员的实时检测与跟踪;基于检测与跟踪结果,设计焦点预测算法确定全景图中直播画面的核心区域;最后,结合观众选择的球员ID,在全景图中动态截取出核心区域作为直播内容。经实验验证,该方案在提供公共视角的同时支持个性化视角切换,直播质量接近人工拍摄的水准,基本实现了个性化直播功能。

关键词： 球栅阵列封装   缺陷检测   高度测量   深度学习   图像处理  

摘要： 球栅阵列(Ball Grid Array,BGA)封装作为现代集成电路的主要封装形式,其制造质量直接影响电子产品的稳定性与可靠性,针对传统BGA封装晶圆在缺陷检测和锡条高度测量过程中存在效率低、依赖人工、误差大等问题。本研究聚焦机器学习在BGA封装缺陷检测中的应用研究,设计并实现了一种集表面缺陷检测与高度测量于一体的自动光学检测系统。系统硬件选用高分辨率面阵相机与光谱共聚焦测量仪,结合模块化设计的软件平台,实现了检测流程的自动化与精细化。 在晶圆表面缺陷检测方面,针对图像分辨率大,检测目标区域占比小的难题,提出一种基于晶圆图纸的分割方法,通过坐标转换和路径规划等方面实现待检测目标的精准定位,有效提升了检测效率和精度,同时对YOLOv8和Patch Core两种模型进行深入研究和对比实验。结果表明,YOLOv8作为有监督模型,检测精度高、速度快,更符合实际生产需求;Patch Core作为无监督模型,在缺陷样本稀缺或数据标注困难时具有独特优势。 在晶圆锡条高度测量方面,针对锡条表面形态复杂、光线反射干扰大等问题,首先基于标准量块验证了光谱共聚焦测量设备的精度可靠性,随后提出了融合中值滤波与差值掩膜的图像预处理方法,并结合改进的非极大值抑制算法细化边缘,有效降低噪声和边缘效应的影响。同时设计了基于区域结构的ROI划分策略,提出自适应区域划分与迭代平面拟合方法进行平面重建,实现了锡条的高精度测量,测量误差满足实际生产要求。 通过开发上位机控制软件,实现了检测过程的有效管理和监控,并对晶圆进行自动检测实验。实验结果表明,系统在缺陷检测和高度测量方面表现出色,单片晶圆的缺陷检测和高度测量的检测时间均在60分钟以内,晶圆基板缺陷检测准确率达90%以上,晶圆锡条高度测量均方根误差为2.44um,检测速度和准确度均满足生产需求,实现了快速准确的晶圆自动化检测。

关键词： 视频监控系统   业务运行监控体系   人工智能   目标检测技术  

摘要： 视频监控系统是海关业务运行监控体系的重要组成部分。利用人工智能技术赋能视频监控系统，识别关键目标、获取重点信息、富集数据矿藏，有利于提升业务运行监控体系效能。随着硬件算力的提升和算法的进步，目标检测技术已经成为一种成熟的视频分析工具，速度快、精度高，技术路线有现成案例，具备较高的可行性。本文提出了基于目标检测技术的海关智能视频分析方案，包括海关视频监控现状、目标检测技术概述以及目标检测技术应用方案等，为提高海关视频监控的自动化程度，及时发现紧急情况、获取关键信息和进行事后追溯提供参考。