关键词： PCB板   缺陷检测   YOLOv8   目标检测   深度学习  

摘要： 印刷电路板(Printed Circuit Board,PCB)是电子设备的核心组件,在PCB的生产过程中,由于设备、工艺、人为操作等原因,容易产生多种缺陷。对PCB缺陷进行精准快速检测,已经成为工业智能制造必要的一环。在实际生产环境中,传统的人工检测方法效率低下,且容易出现误判。而常用的机器视觉的检测方法受外部噪声影响干扰明显,对图像质量依赖性较强,尤其对一些新型缺陷特征提取能力有限,自适应性和鲁棒性较差。 针对以上问题,本文以PCB裸板为研究对象,以常见的孔洞、鼠咬、短路、开路、杂铜、毛刺等六种缺陷为检测对象,提出了一种基于深度学习的PCB缺陷检测方法,实现PCB缺陷的智能化检测。具体研究内容如下: 首先,针对传统PCB缺陷检测方法检测精度低的问题,提出一种基于YOLOv8的PCB缺陷检测算法YOLO-SPS。考虑到PCB存在目标小,类间缺陷相似度高,不同缺陷尺度形状差异较大的问题,在主干网络的下采样部分加入SPD层和非跨步卷积层。引入动态蛇形卷积对C2f模块进行优化,提高网络对PCB数据集中的狭长缺陷的检测能力,实验结果表明YOLO-SPS算法对PCB缺陷检测的有效性。 其次,针对检测模型实时性差的问题,提出一种轻量级PCB表面缺陷检测方法YOLO-PPS。通过在主干网络中引入部分卷积,构建轻量化的PPSBottleneck模块,从而降低计算量和内存访问频率;通过引入无参化的Sim AM注意力机制无需引入额外参数即可实现对关键特征的增强;利用基于辅助框的inner-Io U,使模型的收敛性和平均精度得到很好的改善。实验数据表明,YOLO-PPS算法在保证了检测精度的前提下,检测速度大幅提升,满足实时检测需求。 最后,开发了一套PCB缺陷检测系统。将PCB图像的预处理、训练和缺陷检测功能整合到图形用户界面中,为工业检测打造了一个直观且易于操作的软件平台。实现用户登录、数据采集、模型训练及缺陷检测的功能。通过可视化界面查看检测效果,表明算法和系统的可行性和实用性。

关键词： 360°全景图像   显著目标检测(SOD)   畸变自适应   位置感知   抗背景干扰  

摘要： 目的 现有360°全景图像显著目标检测方法一定程度上解决了360°全景图像投影后的几何畸变问题，但是这些方法面对复杂场景或是前景与背景对比度较低的场景时，容易受到背景干扰，导致检测效果不佳。为了同时解决几何畸变和背景干扰，提出一种畸变自适应与位置感知网络（distortion-adaptive and position-aware network,DPNet）。方法 提出两个对畸变和位置敏感的自适应检测模块：畸变自适应模块（distortion-adaptive module,DAM）和位置感知模块（position-aware module,PAM）。它们可以帮助模型根据等矩形投影的特点和具体图像决定应该关注图像的哪些区域。在此基础上，进一步提出一个显著信息增强模块（salient information enhancement module,SIEM），该模块用高级特征指导低级特征，过滤其中的非显著信息，防止背景干扰对360°显著目标检测效果的影响。结果 实验在2个公开数据集（360-SOD,360-SSOD）上与13种新颖方法进行了客观指标和主观结果的比较，在8个评价指标上的综合性能优于13种对比方法。本文还设置了泛化性实验，采用交叉验证的方式表明了本文模型优秀的泛化性能。结论 本文所提出的360°全景图像显著目标检测模型DPNet，同时考虑了360°全景图像投影后的几何畸变问题和复杂场景下的背景干扰问题，能够有效地、完全自适应地检测显著目标。

关键词： 低光照   目标检测   YOLOv11n  

摘要： 在低光照环境下，图像存在亮度不足、对比度降低及细节缺失等问题，降低了目标检测模型的性能。文章通过零参考深度曲线估计(Zero-Reference Deep Curve Estimation, Zero-DCE)对输入图像进行自适应亮度增强，有效恢复图像细节并提升目标可见性；在YOLOv11n(You Only Look Once version 11 nano)检测模型中加入卷积块注意力模块(Convolutional Block Attention Module, CBAM),通过对通道与空间注意力进行显式建模，提升特征表达能力与目标感知效果。在ExDark数据集上进行对比实验，实验结果表明，所提方法在精确率(Precision)、召回率(Recall)与平均精度均值(mAP@0.5)等指标上均优于现有目标检测模型，展现出良好的检测准确性与鲁棒性，验证了其在低光照下目标检测的潜力。

关键词： 目标检测   轻量化   视觉大模型  

摘要： 随着深度学习在计算机视觉领域的广泛应用，通用视觉大模型在图像识别、目标检测等任务中取得了显著的成果。然而，这些模型通常存在参数量大和计算复杂度高等问题，导致在资源受限的设备上难以部署和应用。为了解决这一问题，提出一种综合运用参数剪枝、知识蒸馏、线性量化技术及轻量化模型架构设计的通用视觉大模型轻量化技术，通过降低模型的参数量和计算复杂度，在不明显降低识别精准度的前提下，大幅提升通用视觉大模型运行效率，为视觉大模型在资源受限设备上的应用提供参考。

关键词： 目标检测   脉冲神经网络   训练后量化   注意力机制  

摘要： 目标检测作为计算机视觉领域的核心任务之一,其核心目标是在给定图像中精确定位并识别特定类别的物体。当前主流的解决方案主要基于传统人工神经网络,如YOLO、R-CNN等系列模型。虽然这些方法在基准数据集上取得了优异的性能,但其依赖于海量标注数据和高算力资源,相较之下,人脑在执行复杂感知与认知任务时的功耗仅约20瓦,凸显出了生物神经系统与传统人工神经网络在能效比方面上的巨大差异。在此背景下,科学家们提出了一种受生物神经机制启发的新型神经计算范式——脉冲神经网络(Spiking Neural Network,SNN)。脉冲神经网络通过离散的脉冲序列(0/1信号)进行异步事件驱动的信息传递,相比于传人工神经网络更贴近生物神经系统中的时序编码机制。此外,脉冲发放的稀疏性与事件触发特性使其在理论上具备更高的能效优势,尤其适合资源受限边缘计算场景。尽管如此,现有脉冲神经网络在目标检测任务中的应用仍存在诸多挑战:多数模型仅对神经动力学过程进行浅层建模,缺乏深层结构设计,导致特征提取与语义表达能力有限;此外,大多数脉冲神经网络的计算开销尚未在实际系统中体现出明显优势。同时,当前脉冲网络对注意力机制的建模仍不充分,未能有效发挥注意力在增强特征选择性与表示能力方面的潜力。为此,本文提出两种结构性改进,旨在提升脉冲神经网络在目标检测任务中的性能与效率: (1)针对目标检测任务,本文设计了一种脉冲驱动检测框架,通过引入脉冲残差模块改进传统目标检测网络,使得网络更加贴近于生物神经系统中信息传递过程,显著减少了计算资源消耗的同时,加快网络的训练推理速度。此外,为了进一步降低模型计算开销,本文还创新性的引入计算友好型的训练后量化策略(PTQ),将量化参数强制限定为二进制幂级数形式,将网络中的乘除运算转化为移位操作,实现了模型存储开销和计算复杂度的双重优化。通过在标准目标检测数据集COCO上进行系统的实验验证,本模型达到了较高的检测性能,并且在较大比特率压缩的情况下,模型仍能保持与压缩前相似的精度。 (2)本文在基础框架下引入脉冲形态下的注意力机制以增强模型在目标检测任务中的性能,实现了一种基于注意力机制的SNN-YOLO(Attention SNN-YOLO)架构。通过脉冲形态下的通道注意力、空间注意力及时间注意力的协同,捕获互补的特征表征,从而提升各个注意力模块的性能。改进后的模型能够动态高效地聚焦于最具判别性的视觉特征,有效减轻脉冲编码带来的信息损失。本文通过系统性的分析与实验,验证这种多维度注意力融合机制显著提升了模型对目标特征的感知能力。此外,在NWPU VHR-10数据集上,本文模型对比了不同注意力机制所带来的性能提升,其中最高的性能提升可达11.7%。 综上所述,本文通过脉冲残差模块、注意力机制引入以及模型量化,有效提升了脉冲神经网络在目标检测任务中的表征能力与计算效率,为构建低能耗、高性能的类脑视觉系统提供了新路径。

关键词： 图像处理   目标检测   MobileNetV3   边缘智能技术   轻量级网络  

摘要： 大豆作为我国粮食安全战略的重要作物,其自给率提升对减少进口依赖(2022年进口依存度超80%)和保障粮油安全至关重要。在“大豆振兴计划”政策推动下,如何通过智能技术实现田间精准管理成为产业迫切需求。研究表明,苗期伴生杂草(如黑龙江地区高发的稗草、苘麻)可导致大豆减产15%-30%,而传统人工识别与粗放式除草存在效率低、药害风险高等问题。针对上述问题,为在自然环境下的田间实现大豆幼苗与杂草的实时检测,本研究以黑龙江省田间大豆幼苗与其伴生杂草为研究对象,设计轻量级苗草识别模型,并利用搭建的边缘智能终端平台实现对大豆苗草的实时识别。本文主要研究内容如下: (1)大豆苗草数据获取与数据集构建研究。针对自然环境下田间大豆苗草数据量少、多样性不足,以及难以满足基于视频流和连续帧的动态场景下实时识别需求的问题,研究了大豆苗草的图像数据获取和预处理方法。为扩充数据样本,本研究从两个方面开展工作。一方面,于野外自然环境下的大豆田间,采集大豆苗草的图像数据;另一方面,在实验室环境中,搭建具备多种不同运行速度的传送带装置,并在传送带上铺设呈不同角度与方向的大豆苗草图像,以此模拟植保机器作业时在动态场景下所获取的模糊大豆苗草图像。本研究利用旋转和平移、添加噪声、剪裁、亮度变换以及阈值分割等数据扩增方法对获取的图像数据进行扩增,扩充训练样本,从而增强模型泛化能力和鲁棒性。 (2)轻量级大豆苗草识别模型研究。苗草识别技术是精准除草和靶向施肥、喷药的基础,是提高农作物品质和产量的关键。针对现有轻量级苗草识别模型实时检测速度慢的问题,本文以YOLOv5s算法为基础网络模型,引入适用于移动设备和边缘设备的轻量级神经网络Mobile Net V3,替换YOLOv5s原始主干网络CSPDarknet53,使得模型参数量和计算量大幅降低,同时提升了检测速度。在同组大豆苗草数据集上与YOLOv5s融合不同类型轻量级卷积神经网络以及其他传统目标检测算法进行对比试验,验证本文网络的有效性。实验结果表明YOLOv5s-Mobile Net V3模型大小减至原YOLOv5s算法的45.8%,为7.8MB,在CPU上单张图像的推理时间为6.9ms,大大提升了模型的计算速度和处理速度,其精确率(P)、查全率(Recall)、均值平均精度(m AP)、F1分数的值分别达到了0.846、0.84、0.875和0.843。 (3)搭建基于边缘智能终端的大豆苗草快速识别系统。针对现有的轻量级苗草识别模型多是基于不同数据集上验证所得的结果,以及实际部署到硬件端进行应用较少的问题,本研究在实验室环境下搭建支持图像深度学习、USB工业摄像头、数据存储的边缘智能终端。为了测试各模块之间的连接和通信是否正常,进行室内大豆苗草的实时检测试验。经室内不同条件下3组大豆苗草实时检测对比试验,得出当摄像头分辨率640*480、帧率120FPS,传送带速度1.14km/h,光照强度为高光时,识别效果最优,实时帧率达100FPS,大豆幼苗和杂草的识别准确率分别为95.0%和87.1%。该技术为挂载式喷药、精准农业等提供农作物与杂草快速检测分类方法,满足相关技术需求。 以上研究成果给复杂大田环境下大豆幼苗与杂草的实时检测提供了技术支撑和理论依据,同时提升了轻量级目标检测算法在苗草识别方面的实时检测速度。

关键词： 图像处理   文本识别   文本检测   OCR   DBNet   SVTR  

摘要： 微电子组装技术的发展推动组装电路的类型和产量不断增长，因此作业智能化水平亟需提升，且需对每只电路的生产状态进行实时追踪记录。基于DBNet和SVTR网络模型的电路管壳批号识别系统采用端到端的光学字符识别（OCR）模型，结合分布式技术进行相关硬件部署，可实现作业任务单智能生成、作业自动记录、作业过程智能化闭环管理等功能，提升了微电子电路生产过程的智能化水平。

关键词： 光学相干层析成像   眼科成像   图像处理   机器人视觉伺服   计算机视觉  

摘要： 光学相干层析成像(Optical Coherence Tomography,OCT)以非侵入、实时成像等优势,成为眼科视网膜、视神经等病变诊断的核心工具。然而,传统眼科OCT设备依赖操作者经验与患者配合,存在效率低、场景受限等问题。针对传统设备的局限性,本文围绕基于三维视觉伺服的辅助机器人和多场景自适应的眼科OCT系统开展研究。通过结合瞳孔定位和视线追踪,机器人伺服运动控制,将集成式OCT扫描吊舱以指定成像角度和工作距离对准人眼瞳孔,以实现精确、实时的跟踪对位和眼科OCT成像。本文的研究内容主要由以下几个部分组成: (1)本文在视觉感知与定位技术方面构建了多模态融合的机器人视觉系统,并提出了从图像采集到特征提取再到三维定位的一系列视觉处理方法。通过集成OCT样本臂与机器人视觉系统的光路共轴复用吊舱设计,实现了OCT成像与视觉感知的硬件协同,并提升了视线追踪能力。通过图像校正、目标检测、边缘拟合等提取瞳孔中心与角膜反射的像素坐标。并通过二维图像空间到三维物理空间的映射模型计算瞳孔位置和视线方向,提供了精准的视觉反馈信息。 (2)本文在机器人视觉伺服控制方面构建了从视觉感知到运动执行的闭环控制体系,以及控制系统的运行逻辑和安全策略。基于手眼标定推导机器人坐标转换关系。针对动态跟踪对位需求,设计在线轨迹生成算法与伺服控制策略,实现了平滑连续的跟踪运动和实时响应。面向眼科临床应用场景,设计系统状态转换与安全策略,兼备功能性与安全性并适配复杂工作环境,保障了精准对位与安全成像。 (3)为验证本文所提出的技术方案有效性及所搭建的系统性能与功能,进行了一系列针对性的仿真和实体测试,以及综合性的人体眼科OCT成像实验。通过光学仿真验证视觉系统视场覆盖能力,基于运动轨迹仿真评估在线轨迹生成算法的平滑和稳定性。通过实体测试得到性能量化指标,其中视觉感知处理时间和运动控制响应时间分别为21.26 ms和21.64 ms,横向对位精度14.15μm,轴向对位精度27.09μm,旋转对位精度0.26°。最后完成了自由位姿下的人体眼科OCT成像实验,展示了不同对位角度下的机器人视觉系统处理图像和眼底OCT三维体积数据,充分验证了系统的临床应用功能。