摘要： 面向动态交通场景的精确需求感知，本质上是解决高维数据流中时空特征的有效解耦与语义重建问题。环境感知环节的效能衰减是制约交通系统安全性的核心痛点，在能见度退化或目标交互密集场景下的误检漏检问题亟待突破。计算机视觉领域的范式革新为突破上述局限提供了新机遇，卷积神经网络通过局部感受野的层次化构建实现了交通要素的本征特征提取，而注意力机制驱动的全局关系建模技术则提高了运动轨迹的时空预测精度。因此，文章将探讨汽车图像处理技术的多维约束条件与系统耦合机制，以期推动智能交通系统完成从实验验证到规模应用的实质性跨越。

关键词： 火工品等效器   图像处理   时空差分检测   多层级判定   时序判读  

摘要： 在军事科技、航空航天、爆破工程等领域,火工品扮演着极为重要的角色,承担着推进系统激活、能量脉冲传递、有效载荷定位、飞行位姿调控等关键职能。作为火工品性能测试中的关键设备,火工品等效器的时序判读直接影响火工品的质量检测与安全评估。然而目前在火工品出厂测试中存在两大突出问题:一是时序判读仍然依赖传统的人工视觉观察逐帧比对的方法,易引发主观误差且效率低下;二是在实际工业检测场景中,摄像机拍摄的视频往往存在因成像模糊、目标重影重叠、光照不均、高噪声及复杂背景干扰等问题导致指示灯检测识别及状态判定困难,严重影响指示灯定位、状态检测和时序判读。本文基于图像处理技术对火工品等效器时序判读技术进行了研究,旨在提升火工品等效器面板指示灯时序判读的准确性和效率,更好地满足现代火工品检测的需求,具体研究内容如下: 首先,对于复杂现场环境下视频图像的标准化输入和质量问题,本文提出了一种基于多尺度光照分量动态融合的加权多尺度Retinex模型对低信噪比视频图像进行处理,通过自适应权重调整、空频域混合滤波实现特征增强和光晕抑制。同时通过形态学处理和坐标布局解析实现指示灯坐标定位。 其次,建立时空联合差分检测模型并结合滑动窗口算法对指示灯状态跳变的临界点进行精准检测,设计轻量化多目标状态跟踪架构实现指示灯并行管理并提升检测实时性,通过时间戳插值补偿算法解决相位偏差和状态跳变检测精度问题。实验表明方法在捕获率、误检率和平均延时性能指标上相较传统方法平均分别提升了6.6%、23.9%、39.4%。 再次,对于非严格对齐时序及噪声干扰下的异常状态分类问题,设计了基于状态转移逻辑的动态时间规整算法对时序匹配路径进行优化,构建了多层级异常判定体系,融合双阈值Kalman预测器对指示灯状态趋势进行预测。 最后,研制了火工品等效器时序判读系统,完成特征增强、状态跟踪、时序分析与异常判定等模块化设计,搭建实验环境并完成模拟仿真和实际场景实验验证,之后进行了系统误差分析,实验表明系统在性能指标上优于传统方法并满足设计指标要求,验证了本文方法的实用性和可行性。

关键词： 无人驾驶   图像处理   曝光融合算法   目标检测算法   注意力机制   正样本优化  

摘要： 在科技和经济迅猛发展的背景下,无人驾驶技术成为了公众关注的焦点,其核心组成部分——车载图像处理技术和交通目标检测算法的重要性也随之增加。由于采集环境的影响,采集到的图像常常面临光照不均匀和暗区域细节模糊的问题;低质图像中较多的噪点使小目标、密集目标间边缘信息丢失,感知算法难以区分目标边界导致准确性下降;此外,在训练目标检测模型时,合理分配正样本的数量和质量对于提升模型学习效果也至关重要。这些问题对目标的准确识别构成了挑战。针对这些问题,本文主要工作包括以下三个方面: (1)针对无人驾驶场景中车载传感器采集到的图像存在光照不均匀、暗区域细节模糊等问题,提出了一种基于曝光融合的低质图像增强算法。首先,结合Ying算法和曝光融合算法,采用亮度分量及曝光融合的对比度增强的方法解决低质图像中光照不均匀的问题,有效提高图像清晰度;其次,基于去雾理论的色阶平衡矫正解决低质图片中暗区域细节模糊,平衡了图像的亮度和对比度,改善色彩平衡;最后,将原始图像和第二阶段的输出图像采用基于自适应的多尺度特征金字塔融合的方法对图像细节进行修复,得到具有更高图像质量的增强图像,有助于识别图像中的细节信息。与各主流算法进行对比,本文所设计的图像增强算法在数据集上的各个客观评价指标均有显著优势,人工主观评价也能够证明这一点。 (2)针对自动驾驶环境中行人及车辆密集导致小目标检测效果不佳的现状,本文基于YOLOv7算法实施优化。首先,通过在原有多尺度检测框架中新增下采样模块,专门用于微小目标识别;其次,重构SPPCSPC模块,裁剪掉池化层之前的CBS层,同时嵌入无参注意力机制Sim AM,减少对背景信息的处理,增强对重要特征区域的关注;最后,为了进一步强化多尺度特征的融合效果,设计了高效聚合ELAN-F模块,将通道和空间注意力进行融合,保留了更多特征信息,进而提升模型在目标检测方面的性能表现。 (3)针对算法模型在训练时缺少足够数量且质量较高的正样本导致训练精度不佳,本文提出了一种基于检测网络的目标检测组件设计。首先,通过采用动态的样本分配策略,根据预测的边界框与真实框的分类得分和交并比来计算预测质量,改善检测目标在网络中正负样本分配不均匀的问题,充分地优化目标检测网络,提高在无人驾驶复杂场景下的检测精度;此外,构建了基于定位可靠性优化的IoU-NET模块,通过增设与分类回归并行的IoU预测分支,优化了NMS处理机制,从而提升了检测效果;最后,运用MPDIoU损失函数,有效应对预测框与真实框长宽比相同但尺寸差异显著的问题,实现了更高效的回归速度和更精准的检测精度。

关键词： 强光干扰   低慢小”目标   目标增强   目标检测  

摘要： 随着“低慢小”航空器在民用和军事领域的广泛应用,其带来的安全风险日益凸显。基于可见光的“低慢小”目标探测方案由于具有高分辨率、高识别率、低成本的优势,已成为“低慢小”目标探测的重要手段。然而,受限于被动探测原理,其性能严重受光照条件制约。特别是强光条件,“低慢小”目标特征易受干扰,甚至出现特征被饱和遮挡的情况,极大地增大了其探测难度。故本文聚焦于强光干扰条件下“低慢小”目标识别问题,通过对强光干扰机理、目标特性增强方法、检测识别算法的研究,旨在提升强光干扰条件下基于可见光图像的“低慢小”目标识别性能,进一步推动基于可见光的“低慢小”目标探测方案的应用。本文的主要工作如下: 首先,分析了强光干扰对“低慢小”目标识别的影响机理。通过对强光干扰目标成像过程的建模,明确了眩光是影响目标成像的关键干扰因素。并基于眩光的形成机制,给出了物理模型-数据驱动的强光干扰图像模拟方法。以该方法为基准,构造了强光条件下受不同光强强光干扰的“低慢小”目标识别数据集。基于此数据集,对强光干扰对目标识别的影响程度进行了定量分析。综合定性分析和定量分析,明确了强光通过产生的眩光干扰目标成像,进而影响目标识别的干扰机理。 其次,研究了强光干扰条件下目标特性增强方法。鉴于强光通过眩光影响“低慢小”目标识别的机理,提出了一种基于眩光抑制的目标特性增强方法,该方法利用深度神经网络的先验能力,学习从强光干扰图像中去除眩光的能力,实现强光干扰条件下“低慢小”目标的特性增强。进一步利用深度可分离卷积,对模型进行了轻量化结构设计,以适应方法在边缘设备上应用需求。最终,经模拟及实测数据验证,所提出目标特性增强方法及其轻量化版本能够有效抑制强光干扰,实现目标特性增强,有效改善强光干扰条件下的检测识别性能。 最后,研究了强光干扰条件下目标检测识别算法。设计了一种兼顾小目标识别与抗强光干扰遮挡的“低慢小”目标识别算法。通过引入微小目标检测层以及特征融合净化机制设计,解决“低慢小”目标自身小目标特性导致其识别困难的问题。通过抗强光遮挡的注意力机制设计,解决强光干扰导致目标部分特征被饱和遮挡的问题。进一步考虑到边缘设备的应用需求,提出了一种基于稀疏检测头的检测识别算法轻量化方法,该方法的优势在于降低模型计算量的同时能够充分保证小目标的识别性能。最终,经模拟及实测数据验证,结合提出的基于眩光抑制的目标特性增强方法,所提出的检测识别算法及其轻量化版本能够有效提高强光干扰条件下“低慢小”目标识别性能,提升强光干扰条件下基于可见光图像的“低慢小”目标识别能力。

关键词： 目标检测   RT-DETR   电气柜装配   机器视觉系统  

摘要： 随着工业自动化的快速发展,电气柜作为承载电子设备和控制系统的重要载体,其内部元件位置安装正确与否,直接关系到设备的性能与安全。目前,电气柜内部元件的安装顺序仍主要依赖人工目视检测,但这一方式存在效率低、稳定性差、成本高等问题。为此,本文提出了一种基于机器视觉的电气柜装配质量检测系统,并围绕关键技术展开深入研究,包括质检系统核心部件的选型、电气柜内部元件的图像采集与拼接、目标检测算法优化、文字识别技术应用以及工业机器人集成方案设计。最终,本文构建了一套完整的电气柜装配质量检测系统。本文主要工作内容如下。 (1)针对机器视觉电气柜装配质量检测系统的需求,设计了完整的硬件与软件方案。硬件方案综合考虑效率、精度、操作性和稳定性,完成相机、镜头、光源及工业机器人的选型与集成。软件方案基于硬件架构,结合自动化检测流水线需求,制定了系统运行流程。 (2)针对机械手移动过程中相机视野受限可能导致的漏检与错检问题,本文采用图像拼接技术,以减少视野局限和移动拍摄带来的检测缺陷。此外,为提升数据集的多样性与泛化能力,首先对采集图像进行扩充;然后,结合电气柜内部元件特点,深入分析并确定合理的标注对象;最终,构建了包含3500张图像的电气柜内部元件数据集。 (3)针对RT-DETR算法在电气柜内部元件检测中存在的参数量庞大、检测速度慢及目标尺度变换大等问题,本文在RT-DETR基础上优化并提出MSA-DETR网络模型。首先,设计多尺度快速提取模块(MSFE)作为网络主干,以扩大感受野并提升检测速度;其次,引入Hi Lo注意力机制优化单尺度特征交互模块(AIFI),进一步提高检测效率;最后,采用MPDIo U损失函数,加快模型收敛并提升检测精度。消融实验结果表明,与传统RT-DETR相比,该改进方案在参数量减少42%、计算复杂度降低37.7%的情况下,精度提升2.4%,检测速度提高61.1%,达到57.6张/秒。此外,电气柜内部存在大量型号相同但规格不同的元件,其外观高度相似,主要区别仅在于铭牌信息。为解决这一难点,本文结合元件表面特征,提出基于模板匹配与仿射变换的二次精定位方法,实现待识别区域(ROI)的精准提取,并结合文字识别技术,准确识别元件规格信息。 (4)本研究在实验室环境下搭建了电气柜装配质量检测系统的物理模型,并基于机器视觉进行检测。系统采用C#语言开发上位机软件,运行于Winform框架,并结合多线程技术实现相机画面采集、数据存储、检测算法执行及通信模块集成。此外,工业机器人的采集路径通过示教方式设定。实验结果表明,该系统在电气柜装配质量检测中具有良好的精度和稳定性,验证了方法的可行性及工程应用价值。 本研究设计的电气柜装配质量检测系统结合了传统图像处理算法、深度学习技术和机器人集成应用。实验结果表明,该系统能有效提高检测精度和效率,具有广泛的应用前景。除电气柜装配质量检测外,该系统还能为智能制造提供技术支撑,在推动工业自动化方面具有重要价值。

摘要： 随着科学技术的飞速发展，测量技术也在不断革新。近景摄影测量作为摄影测量学的一个重要分支，凭借其独特的优势，在众多领域得到了广泛应用。它利用摄影手段获取物体的影像信息，通过对影像的分析和处理，实现对物体的三维坐标测量、形状重建以及变形监测等，具有非接触、快速、高精度等特点，在我国经济建设和科学研究中扮演着不可或缺的角色。近景摄影测量作为一种高效、精确的测量技术，在我国各行各业中发挥着日益重要的作用，为相关领域的发展提供了有力支持。

关键词： 隧道工程   双目视觉   围岩监测   深度学习   三维重建   目标检测  

摘要： 在隧道施工过程中,围岩变形监测对施工安全和风险控制至关重要。目前隧道变形监测主要依赖全站仪、收敛计等传统仪器,但存在实时性差、操作复杂和环境适应性不足等问题。为克服这些不足,基于计算机视觉的非接触、高精度和自动化监测方法日益成为研究热点之一。本文在甘肃省交通运输厅科技项目（2023-10）和甘肃省联合科研基金（22JRRA871）的资助下,提出了一种结合双目相机与卷积神经网络（Convolutional Neutral Net,CNN）的隧道变形实时监测技术,充分利用双目视觉的三维重建能力和深度学习在目标检测任务方面的优势,提高了隧道施工安全预警和围岩变形监测的实时性和自动化程度。本文主要内容如下: （1）提出了基于双目视觉与深度学习的隧道实时监测技术,通过双目相机的三维重建获取原场景的三维点云坐标信息,随后通过目标检测算法获得隧道标靶的中心像素坐标信息,通过标靶的像素坐标信息获得隧道标靶的实时坐标,从而达到对于标靶的实时监测。 （2）基于优化卷积神经网络的小目标标靶的自动识别与定位研究。在传统YOLOv5模型的改进中,本文创新性地融入了CBAM（Convolutional Block Attention Module）注意力机制,通过通道与空间维度的双重注意力机制,显著增强了网络对关键特征通道和目标区域的聚焦能力。同时,通过设计多尺度特征融合策略,利用多次上采样操作引入高分辨率特征图,有效提升了模型对小尺寸目标的语义表征能力。试验结果表明,所提出的YOLOv5s+CBAM+小目标检测头组合模型在目标检测任务中展现出卓越性能:其精确率达到99.4%,召回率高达97.1%,m AP@0.5和m AP@0.5:0.95分别达到99.4%和93.9%。相较于传统YOLOv5s模型,各项关键指标分别提升了2.2%、7.0%、2.6%、4.2%,有效提升了标靶监测系统的鲁棒性与检测精度,为后续标靶监测任务提供了更加可靠的检测基础与技术支撑。 （3）进行了基于ZED双目相机变形监测系统的精度与影响因素研究。为全面验证系统的有效性,本文设计了室内模拟试验与隧道现场试验相结合的多层次验证体系。在室内试验中,通过对1m至5m范围内不同监测距离的测量数据进行对比分析,采用R2、残差平方和（RSS）、均值及方差等量化指标展开精度评估。研究结果表明,该监测系统在室内试验中展现出优异的鲁棒性与精度性能:系统测量平均误差始终控制在2mm以内,拟合优度（R2）均高于0.997,充分验证了其测量结果的高度可靠性。在隧道现场试验中,在隧道拱顶、拱肩等典型结构位置部署滚珠丝杠滑台装置,通过监测系统对滑台上的标靶位移进行实时监测,系统探究了不同监测距离与光照条件对标靶监测精度的影响。试验数据显示:在50-200 lux光照范围内,随着光照强度增强,监测系统测得的标靶位移误差平方和呈递减趋势。而随着监测距离增加,误差平方和则呈现递增态势。值得关注的是,所有工况下参差平方和均被有效控制在120mm2以内,这一结果不仅验证了系统在复杂环境下的稳定监测能力,更为其在实际工程中的广泛应用提供了坚实的试验依据。

关键词： 玉米表型   无人机   无人车   机器学习   图像分割   目标检测  

摘要： 玉米是我国重要的粮食与饲料作物,其产量和品质直接关系到粮食安全。密植栽培技术通过提高种植密度（Plant Density,PD）显著提升单位面积产量,但是高密度环境下玉米植株对光照、水分等资源的竞争加剧,导致茎秆高度（Stem Height,SH）增加、茎秆周长（Stem Circumference,SC）减少,进而增加倒伏风险。准确提取PD、SH和SC对及时监测玉米生长发育动态、评估产量潜力和抗逆性具有重要的科学价值。然而,传统人工测量效率低、成本高,难以满足现代农业需求。近年来,由于无人机（Unmanned Aerial Vehicle,UAV）能够快速获取大面积作物冠层影像而被广泛应用于作物表型监测,但其主要针对作物冠层表面信息,难以获取田间内部茎秆信息,从而限制了SC的提取。为了解决这一问题,本研究提出一种将UAV与无人车（Unmanned Ground Vehicle,UGV）结合的多平台、多角度的解决方案,并针对玉米PD、SH和SC的提取展开研究。结果表明,该方法具有良好的适用性和较高的精度,具体研究内容及成果如下: （1）基于UAV的玉米PD提取。本研究提出了两种基于UAV遥感数据的PD提取方法:（a）高清影像与目标检测结合（Ultrahigh-definition Imagery Combined with Object Detection,UHDI-OD）的玉米PD提取方法;（b）多光谱遥感与机器学习结合（Multispectral Remote Sensing combined with Machine Learning,Multi-ML）的方法。结果表明,UHDI-OD方法对高分辨率UAV影像进行玉米植株检测,可以提供较高的提取精度。其中,决定系数（Coefficient of Determination,R2）和均方根误差（Root Mean Square Error,RMSE）分别为0.99和0.09个/m2。然而,该方法对影像分辨率高度敏感,适用于无人机低空小范围的玉米PD监测。而本文提出的Multi-ML方法结合了遥感植被指数（Vegetation Indices,VIs）和灰度共生矩阵（Gray Level Co-occurrence Matrix,GLCM）纹理特征。该方法在低分辨率影像下也能保持较好的提取精度,R2和RMSE分别为0.76和0.67个/m2。Multi-ML方法虽然提取精度低于UHDI-OD,但是对影像分辨率不敏感,更适用于大范围的玉米PD提取。通过这两种方法的实现和对比,本研究提供了高效、准确的玉米PD提取方法,并探讨了不同数据和方法的适用性与局限性。 （2）基于UGV和UAV的玉米SC和SH提取。本研究提出用于计算玉米茎秆直径和周长的分割网络模型（Maize Stem Segmentation Network for Calculating Stem Diameter and Circumference,MSSDCNet）用于分割玉米茎秆,并基于分割结果提取SC。本研究通过UAV影像生成数字表面模型,并结合地面控制点插值构建数字地形模型。通过计算两者差值生成冠层高度模型,从而实现玉米SH提取。结果表明,MSSDCNet能够从UGV平台获取的玉米茎秆图像中精确提取茎秆特征,实现茎秆的准确分割。基于分割结果可以实现玉米SC的准确提取,R2和RMSE分别为0.759和0.414 cm。SH提取同样取得了较高的精度,R2和RMSE分别为0.941和0.151 m。通过对多个时期玉米SC和SH的提取,本研究发现玉米SC在生殖生长阶段逐渐减少。这可能是光合作用产物向玉米果穗的转移以及茎秆水分流失所导致的。在生殖生长阶段,SH的提取结果存在低估的趋势,这可能是点云数据对玉米穗等尖锐结构的过度敏感有关。通过这些方法,本研究成功实现玉米SC、SH的提取,为玉米的生长发育监测提供支持。

关键词： 视觉SLAM   动态场景   视觉里程计   回环检测   SegNet   YOLOv5  

摘要： 近年来,智能移动机器人广泛应用于工业、农业及军事领域,推动同步定位与建图(SLAM)技术成为研究焦点。视觉SLAM技术凭借成本低、感知能力强等优势备受关注。然而,动态环境中的运动物体会引发特征误匹配,导致机器人定位精度下降、建图残影显著、鲁棒性低,严重影响系统实际应用。 针对这一挑战,本研究设计了一种基于RGB-D相机的动态视觉SLAM系统。通过融合轻量级深度学习模型(SegNet,YOLOv5)与几何约束方法,能够对动态物体产生的干扰有效抑制。具体而言,采用SegNet网络进行语义分割,结合YOLOv5模型实现目标检测,在保证实时性能的同时准确识别潜在运动物体。在此基础上,将语义信息与多视图几何约束相结合,通过运动一致性检验有效检测动态物体,最终构建高精度的静态环境地图。本研究的主要工作包括: 1.针对动态干扰问题设计了一种前端视觉里程计。该视觉里程计结合SegNet语义分割和YOLOv5目标检测以及多视图几何法对动态点进行多阶段过滤。语义分割能实现精准的区分动态物体和静态场景,但比较耗时,因此,本文设计了一种自适应阈值的语义帧选择策略,有效提高了系统运行效率。同时,目标检测可以实现快速检测,但如果去除框内检测到的所有动态特征点,就会导致特征点数量过少,影响系统的跟踪线程,不利于系统的稳定性。所以将二者结合,优势互补,并基于多视图几何法设计一种动态点选择策略,在降低环境中动态因素影响的同时,尽可能保留环境中的静态信息。 2.针对动态干扰问题提出了一种回环检测算法。该回环检测算法也结合了语义分割和目标检测。其中YOLOv5一直提供物体检测框帮助过滤动态物体,SegNet可以区分动态物体和静态场景,为相机不断矫正自身位姿以及构建静态地图提供帮助。最后,本文结合语义分割和目标检测去除动态物体的影响,构建了稠密点云地图和语义八叉树地图。 3.在TUM和Bonn公共数据集上进行了多组定位和建图实验分析。实验结果表明,相比之前的ORB-SLAM2等视觉SLAM系统,本文系统在动态环境下的定位精度平均提高了 50%以上,并且大幅度地改善了建图效果。此外,在实体采摘机器人上进行了实验,验证了本文提出的系统的可行性。