关键词： 目标检测   边缘计算平台   疲劳驾驶   分心驾驶   模型量化  

摘要： 随着汽车保有量的激增与智能交通系统的发展,由危险驾驶行为引发的交通事故已成为全球性难题。传统检测方法在实时性、环境适应性及边缘端计算效率方面存在显著瓶颈。为此,本研究提出基于边缘计算的危险驾驶行为实时检测系统,通过算法创新、硬件加速与云边协同架构的深度融合,实现了分心驾驶、疲劳驾驶等行为的精准识别与毫秒级响应。 在算法层面,本研究对RT-DETR模型进行多维度改进:首先,将Res Net主干网络替换为基于部分卷积(PConv)的Faster Net结构,在保证特征提取能力的同时将计算量降低23.8%;其次,设计跨空间高效多尺度注意力机制(EMA),通过分组特征重塑与跨维度交互增强复杂场景下的关键信息捕获能力;进一步,采用可学习位置编码替代传统正弦编码,优化Transformer对动态空间关系的建模,并结合扩张重参数模块(DRB)重构跨尺度特征融合网络,使模型参数量减少22.9%。经数据集验证,改进后的模型在m AP50指标达93%,较基准算法提升2.4%,参数量降至15.3M。 硬件部署方面,基于RK3588芯片构建异构计算流水线:通过RGA模块实现零拷贝图像预处理,CPU利用率降低35%;采用动态分层INT8量化策略,结合KL散度校准与补偿技术,模型体积压缩60%;设计多核NPU调度机制,利用3个NPU核心并行推理,配合线程池优化实现115FPS吞吐量。针对流媒体传输需求,集成MPP硬件编码单元与ZLMedia Kit框架构建云边协同推流体系,实现本地RTSP流240ms延迟与端到端500ms超低延迟传输。 系统软件层面,基于QT/Embedded开发跨平台人机交互界面,采用EGLFS直接渲染技术绕过X11窗口系统;通过信号槽机制实现推理线程、视频采集与流媒体服务的异步通信,可实现视频流实时处理。经实车环境验证,系统对手机使用、疲劳哈欠等行为的检测准确率达93%,为智能交通治理提供了高可靠技术支撑。 图[42]表[6]参[80]

关键词： 目标跟踪   交互多模型(IMM)   序贯滤波   多普勒量测   容积卡尔曼滤波  

摘要： 针对空间目标相对于天基雷达呈现的机动特性,以及具有多普勒量测信息的场景,将交互式模型(IMM)引入到基于量测转换容积卡尔曼滤波的序贯滤波算法(CMCKF-D)中,得到基于IMM的空间目标序贯滤波算法(IMM-CMCKF-D)。该算法基于多个运动模型,子模型对应的滤波算法采用CMCKF-D,对目标三维位置信息和多普勒信息进行处理,最后根据模型概率对滤波器输出进行融合,得到最终的状态估计结果。蒙特卡洛仿真结果表明,提出的算法可以对机动目标进行有效跟踪。

关键词： 单目三维目标检测   M3D-RPN   Ghost-YOLOv8   KITTI数据集   注意力机制   损失函数优化  

摘要： 随着自动驾驶技术的快速发展,环境感知作为其核心技术之一,对目标检测提出了更高要求。单目3D目标检测因其成本低、易于部署等优势,成为当前研究热点。然而,单目相机缺乏深度信息,导致检测精度受限,尤其在复杂道路场景下存在误检、漏检等问题。本论文针对上述挑战,提出了一种融合三维与二维检测的创新算法框架。 在三维目标检测方面,对M3D-RPN模型进行了系统性改进。针对局部特征提取不足的问题,设计了CECALocal Conv2d模块,该模块通过上下边缘补偿机制保留完整特征信息,并引入ECA注意力增强通道特征学习能力。为处理遮挡场景下的检测框冲突,采用Soft-NMS替代传统NMS算法,通过置信度衰减而非直接剔除的方式保留潜在目标。在损失函数设计上,使用GIo U Loss优化边界框回归,同时引入Focal Loss解决样本不均衡问题,显著提升了模型在复杂场景下的检测鲁棒性。在二维目标检测方面,基于YOLOv8n架构进行创新性改进。引入Ghost Net思想,采用Ghost卷积替代传统卷积,创新性地设计了C2f Ghost模块,在保持特征表达能力的同时大幅降低计算复杂度。针对道路场景中目标尺度变化大的特点,模型增加了小目标检测层,通过特征金字塔网络实现多尺度特征融合。引入全局注意力机制GAM进一步提升特征表达能力,在通道和空间两个维度增强关键特征响应。采用GIo U替代传统CIo U,优化了边界框回归性能。为实现三维与二维检测的优势互补,提出了一种创新的融合策略。建立Io U匹配机制,利用Ghost-YOLOv8的高精度二维检测结果去除M3D-RPN的误检目标。针对漏检问题,设计了同类别基于位置匹配和比例缩放方法以及单类别/目标预设方法构建3D框,以确保检测结果的完整性。 在KITTI数据集中,优化后的M3D-RPN在AP3D指标上有着明显提升,改进后的Ghost-YOLOv8在保持轻量化的同时,提升了各方面检测指标。融合算法有效解决了误检和漏检问题,并且整体性能优于当前主流方法。此外,模型已部署至网页端系统,验证了实际应用可行性。研究成果为自动驾驶环境感知等提供了有效的技术方案,具有重要的理论价值和实际应用意义。

关键词： 晶圆缺陷检测   计算机视觉   深度学习   轻量神经网络  

摘要： 晶圆缺陷检测是半导体集成电路芯片工业生产中的关键应用之一。它能够助力半导体工程师精准发现生产工艺的薄弱环节,推动晶圆制造技术的优化与改进。随着芯片晶体管集成度的不断提高以及半导体晶圆加工技术日益精密化、复杂化,晶圆制造过程中缺陷出现的频率显著增加,缺陷的复杂性也大幅提高,这导致晶圆缺陷检测的难度相应增大。在真实工业场景中,混合型晶圆缺陷检测难度较大,且半导体晶圆的生产规模庞大,这使得晶圆缺陷检测在准确度和处理速度上均面临极高要求。基于深度学习的计算机视觉技术可以实现晶圆缺陷的自动化识别检测,但现有方法中仍存在晶圆缺陷类别较少、模型参数量大、模型推理速度较慢等问题,这很大程度上限制了其在实际生产场景中对复杂多样的晶圆缺陷进行高效检测的应用。 为实现对混合型晶圆缺陷的高效检测,本文对基于深度学习的晶圆缺陷检测方法进行研究,采用轻量化神经网络优化晶圆缺陷检测模型的推理速度,具体工作如下: 1.提出了基于倒残差结构和大核卷积下采样的晶圆缺陷分类识别方法。该方法使用由深度卷积、逐点卷积和残差连接构成的倒残差结构搭建轻量级的图像分类神经网络模型,引入卷积注意力机制增强模型的特征信息提取能力,通过大核卷积缓解特征图在下采样操作中的特征丢失,实现了对混合型晶圆缺陷的高精度识别检测,并大幅度提高了模型的推理速度。在开源的晶圆图数据集Mixed-type WM38上进行实验,所提出的轻量级晶圆缺陷分类模型取得了98.69%的分类准确率,且模型参数仅有1.01M。与Res Net50、Efficient Net V2、Mobile Net V3和Swin Transformer等神经网络模型相比,所提出的模型在晶圆缺陷分类准确率和推理速度两个方面都更具优势。 2.提出了基于轻量化RT-DETR的晶圆缺陷目标检测方法。该方法采用端到端的深度学习目标检测框架RT-DETR,基于瓶颈结构和轻量大核卷积下采样构建卷积骨干网络,优化模型的推理速度,通过迁移学习增强骨干网络的特征提取能力,利用Transformer的多头自注意力机制对晶圆图的全局信息进行建模,引入伪标签训练半监督学习方法为模型提供大量可学习知识,提升晶圆缺陷目标检测性能。基于WM38数据集构建了具有3800张晶圆图的晶圆缺陷目标检测数据库,包含8583个晶圆缺陷目标。在所构建的数据库上进行实验,本文的轻量化RT-DETR模型取得了0.914的晶圆缺陷目标检测m AP。与Yolo V8、Yolo11、Deformable DETR和RT-DETRT原模型相比,所提出的模型的晶圆缺陷目标检测精度更高,同时参数量和浮点运算量更少。

关键词： 梳棉机棉网   深度学习   目标检测   棉结   轻量化模型   YOLOv8   图像检测  

摘要： 针对基于深度学习的棉结目标检测模型占用过多计算资源、难以满足嵌入式设备及移动端的实时在线检测的问题，提出基于改进型YOLOv8的梳棉机棉网上棉结检测方法。首先，将轻量型网络MobileNetv3＿Small用作YOLOv8n骨干网络，降低计算参数量；其次，在MobileNetv3网络中使用自改进协调注意力机制(coordinate attention)模块替换原有的压缩和激励(squeeze-and-excitation)注意力机制模块，提升对棉结的检测精度；最后，使用EIoU损失函数取代原YOLOv8n中的CIoU损失函数，在处理数据时保留更多有效信息。在自制棉结图像数据集上验证改进型YOLOv8算法的检测效果，结果表明：基于改进型YOLOv8的检测方法平均准确率均值达到95.8%,相较于改进前提升了2.6%;参数量减少了34.2%。改进后算法的检测效果更好，且模型更加轻量，可满足嵌入式设备的使用。

关键词： 目标检测   建筑图纸   YOLO   SHAI   仿射变换   PaddleOCR  

摘要： 在建筑工程项目管理中,图纸审查是确保施工质量和提高设计精确度不可或缺的一环。随着建筑工程项目的复杂性和多样性不断增长,传统的手工审图方式已难以满足现代工程对高效和精准性的要求。传统审图依赖于人工检查,这不仅耗费大量时间和人力资源,而且其结果容易受到评审人员的经验水平和个人偏好的影响,从而导致评审结果的不一致性和主观性。 为解决上述挑战,本研究提出了一种结合深度学习与计算机视觉技术的智能审图方案,旨在通过自动化和智能化的方法提升审图工作的效率和准确性。鉴于当前建筑行业对图纸审查技术需求的上升趋势,以及深度学习与计算机视觉技术在目标检测、图像分类等领域的迅猛发展,本研究引入了先进的目标检测算法,以实现对建筑设计图纸中的门窗,预留洞口,柱等进行自动识别与定位,进而完成对多专业图纸一致性审查。本文的研究内容主要围绕以下几个方面展开: (1)针对国内外关于智能审图的研究现状进行了深入分析,并总结了目前采用的目标检测方法。基于此,我们提出了一个创新性的协同式深度学习多模态建筑图纸智能审图框架,该框架旨在融合多种数据来源的优势,以提升审图的全面性和准确性。 (2)在数据集构建方面,考虑到公开可用的建筑图纸数据集稀缺以及图纸层结构复杂的实际情况,我们从互联网收集了涵盖建筑图、暖通图及给排水图在内的多样化建筑行业图纸资料。通过CAD软件实施了一系列预处理步骤,如隐藏不必要的图层和去除背景干扰元素,最终形成一套适用于实验目的的高质量建筑图纸图像数据。 (3)在模型训练阶段,选择了YOLOv11作为基础模型,并对其特征融合机制进行了优化改进。利用自制的训练集对该模型进行了训练,并借助SAHI(一种用于分割辅助超推理的技术)对建筑图纸进行了详细的解析,实现了不同专业图纸间的一致性审核,并通过仿射变换对齐图纸,从而实现多专业图纸的一致性审核。 (4)以YOLOv11与SAHI推理的结果作为文字识别的输入,采用Paddle OCR对于建筑图纸中的门窗进行统计,从而实现对门窗数量的自动统计功能。 本研究通过整合最新的深度学习技术和计算机视觉算法,开发了一个能够有效应对现代建筑项目中复杂图纸审查需求的智能系统,不仅显著提升了审图工作的效率,还极大地增强了审查结果的客观性和可靠性。未来的工作将进一步探索如何将此智能审图系统应用于更广泛的领域,以推动整个建筑行业的数字化转型和发展。

关键词： 图像去雾   交通目标检测   YOLOv8   特征提取   轻量化模型  

摘要： 在国家“新基建”战略的重要支撑的背景下,智能交通系统的构建是缓解现代交通拥堵、提升道路安全的一个核心技术路径。作为智能感知体系的核心技术模块,交通目标检测的性能优劣直接决定车路协同系统的可靠性。然而在雾天低能见度环境中,受雾气散射、路段场景动态变化、拍摄视角及距离差异等多方面耦合作用,传统视觉感知算法往往无法有效地实现交通目标的精准检测与识别。为了提高交通目标检测系统在面对雾天复杂的环境时的准确性与鲁棒性,本文针对以下内容展开深入研究: (1)针对现有多数主流去雾算法面临的输入适应性差的问题,提出一种基于雾气浓度感知的自适应图像去雾算法。该算法首先设计了一种雾气浓度感知网络,将输入图像的特征转换为雾气浓度分数,以此来确定图像类型,并设定一个判定阈值来决定后续的处理分支;随后,本文基于户外场景图像中所特有的结构特性,设计了一种结构特征增强的去雾模块,在准确呈现图像关键信息的同时抑制雾气的干扰;最后,在图像重建过程中,本文采用了基于动态分组像素重排的上采样策略,以更好地恢复图像细节和整体结构。实验结果表明,本算法在多个公开数据集上均展现出较好的去雾性能。此外,本算法在不同类型图像混合输入时,相较于其它算法取得了最高的PSNR和SSIM指标,分别达到25.46d B和0.712。 (2)由于交通场景中目标尺度变化显著且分布较为密集,提出一种基于全局特征增强的多尺度交通目标检测算法。该算法以YOLOv8n为基础,在主干网络中引入视觉Transformer结构,通过其全局建模能力来结合目标与周围的环境信息,以提升对不同尺度和被遮挡目标的检测能力;同时,引入空间与通道协同注意(Spatial and Channel Synergistic Attention,SCSA)模块,对空间与通道特征做进一步的挖掘和优化,来增强特征的判别性;最后,通过构建高分辨率检测分支,利用原始图像中更多的细节特征信息,提高算法对多尺度目标的检测能力。实验结果表明,该算法在雾天道路目标检测数据集上的平均识别准确率达到了48.3%,相较于改进前的YOLOv8n算法提升了5.9%,证明了该算法的检测有效性。 (3)为进一步提高交通目标检测算法的检测效率,以便于在边缘设备中部署使用,提出一种基于互馈式多特征融合的轻量化交通目标检测算法。该算法首先设计了UIB-C2f跨阶段部分聚合模块,并替换掉原始YOLOv8n网络中的C2f模块,来实现轻量化网络设计;同时,在颈部网络中引入Bi FPN网络来构建不同层级间特征的互馈式融合,以减少特征信息在传递与融合过程中的损失,提高特征的质量与可用性;最后采用基于知识迁移的训练机制,将大规模数据集上训练学习到的特征知识迁移到本文算法中,以提升检测算法的泛化能力与训练效率。实验结果表明,在雾天道路目标检测数据集上,本算法较原始YOLOv8n的平均识别准确率提高了4%,参数量减少了23.3%;此外,将本文将第三章所提出的去雾算法级联至目标检测算法前端,经去雾优化后,该检测算法的平均准确率达到了49.7%,较基准模型提升了7.5%,且检测速度为38FPS,符合实时性的需求。