关键词： 机器视觉   图像处理   异物检测   堆煤检测   故障诊断  

摘要： 煤矿井下带式输送机作为关键运输设备,其运行状态直接影响矿井生产效能与安全水平。然而实际作业中存在的异物侵入及煤炭堆积现象,易引发设备故障并形成安全隐患。当前主流检测方法普遍存在检测灵敏度不足、响应延迟显著以及复杂工况适应性有限等技术瓶颈。为了解决上述问题,本研究设计并开发了基于机器视觉的算法模型,构建了带式输送机异物与堆煤故障智能识别系统,实现了对输送带表面异物与堆煤现象的高精度实时监测。 在对煤矿井下图像进行预处理的问题上,本研究分析了井下作业环境中存在着不均匀的照明分布、粉尘干扰严重,导致矿用摄像头采集到的原始图像会普遍出现各类如对比度衰减、亮度畸变方面的问题。基于这些现象,本研究采用了暗通道先验去雾算法,并结合双边滤波进行了优化,提高了传统算法的去雾性能。在调整图像对比度时,本文创建了一套包含Gamma校正、多尺度Retinex、HE以及CLAHE的评估体系,通过客观评价指标进行量化分析。最终经过分析,CLAHE算法被选为最优图像对比度增强方案。 针对带式输送机异物检测的技术难题,本研究对YOLOv8检测框架实施系统性优化,重点突破传统方法在检测精度与实时性难以平衡、复杂场景适应性弱等瓶颈。通过三阶段架构改进实现性能提升:实施网络轻量化设计,引入Faster Net模块重构主干网络,在维持检测效能的前提下减少模型参数量与计算复杂度;增添ECA注意力机制,强化特征选择能力,提升模型对关键目标的特征捕获效率;创新性采用基于几何度量的MPDIo U损失函数,通过优化边界框回归策略显著提高目标定位精度。上述模型优化经实验验证后说明,整体方案在复杂工业场景中展现出更强的鲁棒性与实时处理能力。 针对传统堆煤检测方法单一、难以在井下复杂环境实现高检测精度和高检测效率并且堆煤负样本稀缺的问题,本文提出了基于多信息融合的带式输送机堆煤检测方法。包括无监督算法辅助图像分割并通过形态学操作优化煤堆形态;基于三帧差分法,利用上下级输送机煤流比以及下级输送机边界煤量判断堆煤故障的发生;安装雷达物位传感器和PLC集控箱实时监控煤堆高度。将以上方法的检测结果结合,综合判断堆煤故障。 结合带式输送机异物与堆煤检测算法,完成软硬件部署,完成带式输送机异物与堆煤检测系统的设计,并基于Py Qt5开发了带式输送机异物与堆煤检测系统用户界面,能够实时处理来自摄像头的图像数据和雷达数据,并将处理结果可视化。若发生异物与堆煤故障,系统会启动声光报警装置并记录,经过对系统进行了全面的测试,在淮南市朱集东矿中验证了其在实际应用中的效果和稳定性。 图[63]表[7]参[82]

关键词： 遥感图像   目标检测   超分辨率   知识蒸馏   知识迁移  

摘要： 受制于图像光谱信息承载能力限制,基于可见光或红外的单模态目标检测方法通常难以有效应对遥感图像复杂场景,因此多模态目标检测技术受到广泛关注。然而,碍于设备、气候等客观条件,或收集与对齐不同模态数据所耗费的人力物力,多模态检测方法在实际应用中经常面临某些模态数据缺失或不完整的实际情况。此外,遥感场景图像与自然图像在地物尺度与背景复杂度上有较大差异,通用检测方法在遥感图像检测任务中难以取得良好的效果。因此,如何解决多模态目标检测方法在模态缺失情景下的推理问题,并适应遥感图像的检测场景,已成为多模态遥感图像识别领域中的核心挑战。 针对这一问题,本文提出了一种基于知识蒸馏的模态缺失情景目标检测方法。该方法的主要思路分为两个步骤:第一步是先训练一个复杂的高性能多模态教师网络,第二步是使用跨模态知识蒸馏技术将教师网络中的跨模态知识迁移到单模态的学生网络中。教师网络同步对齐的多模态信息可用于弥补学生网络缺失的信息流,并通过知识蒸馏的训练继续强化学生网络的性能。本文的具体研究内容与创新点如下: （1）在教师网络部分,本文提出一种基于分层融合机制的超分辨率双模态遥感图像目标检测方法。首先,方法构建了一种多阶段分层特征融合机制,由残差融合模块和单分支增强模块分层嵌入骨干网络组成,深层次融合可见光和红外数据信息。其次,引入超分辨率辅助分支增强细节特征生成能力,一定程度上缓解遥感图像的细节丢失问题。 （2）在学生网络部分,本文提出一种基于知识蒸馏的模态缺失情景目标检测方法。该方法将待检测目标特征（前景特征）与背景噪声特征（背景特征）分离,并设计了一种前背景相关性蒸馏方法,用于解决前背景特征的不平衡问题。首先,使用注意力尺度掩码分离出教师网络与学生网络的前背景特征,分别计算前背景特征的互相关矩阵与自相关矩阵。其次,使用KL散度对相关矩阵进行度量。最后结合掩码生成蒸馏与超分辨率辅助分支,训练得到高精度的单模态学生网络。 实验表明,本文方法在VEDAI数据集中的mAP50精度较基准模型提升大约18个百分点,在Drone Vehicle数据中的mAP50精度较基准模型提升大约5个百分点。实验结果充分证明了,本文方法能克服多模态遥感图像目标检测的模态缺失问题,并且拥有超越当前主流方法的检测性能。

关键词： 量子计算   量子图像处理   量子逻辑门压缩   引导图像滤波   边缘检测  

摘要： 面对日益复杂的图像处理需求,经典图像处理算法在功能性和效率方面逐渐显现出局限性。然而,量子计算凭借其独特的量子叠加和纠缠等特性,为图像处理领域提供了新的研究方向。研究人员认为将量子计算与图像处理算法结合,有望突破经典图像处理技术的瓶颈。目前,量子图像处理已成为研究热点,其在大规模图像数据处理和高精度计算任务中展现出显著优势。本文的研究重点是量子图像处理基本算法的设计及仿真,具体研究内容如下: （1）在量子图像制备过程中,随着图像尺寸的增大,所需量子逻辑门的数量逐渐增加,进而导致量子线路的复杂度显著上升。为解决这一问题,本文设计并提出了一种基于Espresso算法的量子逻辑门压缩方法。通过在不同尺寸的测试图像上进行对比实验,验证了该方法的可行性和有效性。实验数据表明,基于Espresso算法的量子逻辑门压缩方法能够实现高达70%的压缩效率,且随着图像尺寸的增大,压缩效果进一步提升,显著降低了量子线路的时间和空间复杂度。这一方法不仅有效节约量子计算资源,还显著提高了计算效率和精度。 （2）引导图像滤波能够在平滑图像的同时,保留图像的边缘信息,因此广泛应用于各个场景。量子图像处理领域还未出现相应的保边滤波算法,本文基于经典引导图像滤波的基本原理及其核心思想,提出了一种创新的量子引导图像滤波算法。对于尺寸为2~n×2~n的量子图像,该算法的时间复杂度为O（q2）,与经典算法的O(22q)相比实现了指数级加速。通过经典计算机上的仿真实验,验证了量子引导图像滤波算法出色的保边滤波效果,其性能明显优于其他量子滤波算法。这一研究成果为量子图像滤波领域提供了新的思路和方法。 （3）边缘检测技术为图像分割、目标跟踪与识别等任务提供关键的边缘信息,但图像中噪声的存在严重影响了边缘检测的效果。因此,本文提出了一种结合引导图像滤波与Sobel算子的量子图像边缘检测算法。通过理论分析,该算法的时间复杂度为O（q2）,相较于经典图像边缘检测算法,实现了显著的指数级加速。通过仿真实验,验证了该算法在去噪和边缘信息提取方面的优越性,能够有效完成图像边缘检测任务,为量子图像处理领域提供了一种高效且实用的边缘检测方法。 本文所提出的量子图像处理算法具有指数级的运算速度和出色的处理性能,未来将在图像存储、滤波和边缘检测等应用中展现出巨大潜力。

关键词： 合成孔径雷达   飞机目标检测   深度学习   YOLOv8   轻量化算法  

摘要： 合成孔径雷达(Synthetic Aperture Radar,SAR)拥有全天候、全天时的成像能力,在军事侦察和环境监测等领域具有重要应用价值。然而,SAR图像飞机目标检测面临诸多挑战,如小目标尺寸、复杂背景以及特征不明显等。针对这些问题,本文基于YOLOv8算法提出了一系列改进措施,并研究了轻量化的网络结构设计,以提高SAR图像中飞机目标检测的精度与效率。 首先,本文详细分析了SAR图像特性及其对目标检测的影响,并介绍了现有深度学习目标检测算法的基本原理。在此基础上,提出了针对SAR图像飞机目标检测的改进策略:在骨干网络和颈部网络中引入可变形卷积和高效多尺度注意力机制,增强模型的特征提取能力和抗干扰能力;采用自适应空间特征融合模块优化检测头,提升多尺度特征融合效果;并使用Inner-CIo U Loss作为损失函数,加速收敛速度和提高回归精度。实验结果表明,这些改进措施显著提升了检测性能,特别是在处理小尺寸目标方面表现优异。 其次,为了适应轻量级设备的应用需求,本文进一步探讨了YOLOv8网络的轻量化设计。通过浅化网络、主干网络改进及颈部网络优化等手段,减少了模型参数量和计算复杂度。具体而言,C2f＿Dual Conv模块替代原有的C2f模块提高了特征提取能力,Slim-Neck结构增强了模型表征能力和特征利用效率。实验结果显示,改进后的轻量化算法不仅大幅降低了模型复杂度,还能保持较高的检测精度,更适合于资源受限环境下的应用。 综上所述,本文通过深入分析SAR图像特性和飞机目标成像特点,提出了两种改进YOLOv8算法,有效提升了SAR图像中飞机目标的检测效果,为相关领域的研究提供了新思路和方法。但仍存在如飞机型号识别、多模态SAR数据泛化等问题需进一步研究。

关键词： 无人清扫车   地下车库   视觉SLAM   目标检测   动态特征点剔除  

摘要： 当前城市化进程加速,无人驾驶技术作为智能交通的重要基础,逐渐改变传统的环卫作业方式,人工清扫和机械式环卫装备已无法满足现代化城市的环卫需求,无人驾驶技术为其提供了新的发展方向。无人清扫车作为智能环卫设备的一种,多应用于园区等安全指数相对较低的场所,而地下车库作为城市的重要基础设施,受到建筑物遮挡和多种无线信号干扰,GNSS失效导致多数在线定位系统无法运行。同时定位与建图技术(Simultaneous Localization and Mapping,SLAM)是无人清扫车获取车库环境信息的重要渠道。因此本文自主设计并搭建无人清扫车试验平台对不同类型的传感器进行SLAM相关试验,并着重探讨地下车库内行人和车辆对SLAM系统的影响,提出一种可适应动态场景的视觉SLAM系统,以理论仿真和应用试验综合验证。 首先,结合现有技术以及实际应用场景分析,对地下车库无人清扫车的机械结构和控制系统进行设计研究,利用三维建模软件对无人清扫车的底盘结构、清扫机构和回收装置进行设计。依据试验需求,对各项传感器和硬件设备进行选型,同时基于ROS框架构建模块化控制系统,完成无人清扫车试验平台的搭建。 其次,基于YOLOv8目标检测算法进行改进优化,以实现地下车库场景中行人和车辆的精确检测。在其主干网络中融合Shuffle Attention模块,并将初始的检测头替换为动态检测头Dynamic Head。改进后不仅增强了模型对特征信息的捕捉能力,而且从整体上提高了算法的检测精度和计算效率。再对多个地下车库场景进行图像采集,制作数据集。经过多组训练优化,本文改进的目标检测算法在性能上有较大提升,平均精度均值达到94.0%,比较YOLOv8算法提升了4.6%。实验结果表明,改进后的检测算法可以有效的适应地下车库环境,满足本文无人清扫车的精度要求。 然后,针对地下车库内行人和车辆作为动态目标对无人清扫车视觉SLAM系统所造成的影响进行分析。将改进后的YOLOv8目标检测算法与ORB-SLAM3算法进行融合,构建一个动态视觉SLAM系统。新增动态特征点剔除线程优化特征点集合,再由局部建图线程更新地图点和位姿,当产生闭环时,通过全局BA对整个地图进行优化,修正因累计误差产生的漂移现象。 最后,以实验室地下车库作为实际应用场景,对无人清扫车的SLAM系统性能和清扫效果开展应用测试。通过相机和多线激光雷达实时采集车库内环境信息,并结合公开数据集,将本文所提出的动态视觉SLAM算法和ORB-SLAM3算法同真实轨迹进行对比试验。在地下车库高动态场景中,以绝对轨迹误差作为性能评价指标,试验结果表明本文算法相较于ORB-SLAM3算法,其均方根误差降低了94.95%,整体性能得到了大幅提升。验证了本文提出的动态视觉SLAM算法在无人清扫车应用于地下车库动态场景时具备可靠的定位精度和稳定性。 图[75]表[12]参[80]

关键词： Object recognition  

摘要： Integrating image and depth information for RGB-D salient object detection has become a research hotspot in the field of saliency detection. Balancing the efficiency and performance of salient object detection models under resource constraints is a key challenge. To address this, this paper proposes an asymmetric lightweight network suitable for real-time RGB-D salient object detection tasks. The network reduces the number of network parameters by designing different lightweight feature extraction networks for different input modalities. Additionally, a multi-modal feature enhancement fusion module is designed to effectively fuse multi-modal features while compensating for the information loss caused by the lightweight backbone network. Moreover, this paper utilizes a global context module for dense decoding, aggregating local and global information of multi-scale features without significantly increasing computational complexity. The experimental results on five benchmarks show that the proposed lightweight RGB-D salient object detection network not only outperforms most mainstream models quantitatively and qualitatively, but also significantly outperforms other models in terms of efficiency, only with a parameter count of 5.1 million and a computational load of 0.77 gigaflops. This achievement validates the proposed method’s ability to achieve lightweight salient object detection while maintaining high efficiency. © Shanghai Jiao Tong University 2024.

关键词： 图像处理   深度学习   姿态估计   生理参数检测   成像式光电容积描记法  

摘要： 心率和血压作为反映人体循环系统功能的核心生理参数,对疾病早期筛查、慢性病管理和健康风险评估具有重要临床价值。传统的接触式检测方法,如袖带血压计和心电监护仪等虽然测量精度较高,但其固有的体积庞大、操作复杂、佩戴不适等缺陷,严重制约了在日常生活场景中的持续性监测应用。随着深度学习技术的迅猛发展,其在医学检测领域展现出巨大潜力,为开发非侵入式、便捷化的健康监测系统开辟了新途径。然而,当前主流的无接触心率血压检测技术普遍存在两大局限:一是过度依赖面部识别技术,二是仅能处理静态单人场景。针对这些技术挑战,本文提出了一种基于成像式光电容积描记法,融合姿态估计、手部检测和行人追踪等先进计算机视觉技术的创新解决方案,实现了多人场景下的心率血压的实时动态监测,为构建下一代智能健康监测系统提供重要的技术参考。本文的主要工作和创新之处如下: 1.实现了多人检测与资源分配。针对多人场景下的检测需求,我们将多人检测独立开,转化多个单人的检测,设计了合理的资源分配机制,为每个测试者单独分配存储与计算资源,确保了多人并行检测的实时性与准确性。且能实时调整,有新的测试者进入画面,就能分配新的资源用于检测。 2.提出了一种鲁棒的感兴趣区域选择算法。创新性地采用姿态估计结合手部检测的方案,取代传统的人脸识别方法,并引入了一种动态矫正技术,增加区域选取的普适性,提升了系统对测试者姿态变化的适应,从而保证了每个测试者测量结果的稳定性与可靠性。 3.提出了一种智能检测中断算法。在矫正面部、手部感兴趣区域时,有一些无法矫正的极端情况出现。通过实时质量评估和自适应阈值判断,系统能够精准识别不可修复的异常状态,及时中断当前检测流程并触发重新初始化,从而有效避免错误数据的产生和传播。这一机制显著提升了系统在复杂场景下的鲁棒性和可靠性。 4.构建了一个体育运动状态下生理参数综合评估模型。基于姿态估计算法,系统能够精确提取人体关键点空间坐标,通过动态关节角度变化分析实现了一些简单体育运动的自动化计数,并引入了动作规范性检测模块,有效保障了运动质量评估的准确性。模型集成运动计数与最大心率预测算法,为用户提供实时的运动强度反馈,拓展了系统在健康管理中的应用价值。 为了验证本文所提算法的有效性和测量的准确性,我们选取市场上被人们普遍接受的智能手环与欧姆龙电子血压计进行对比实验,并进行Bland-Altman分析,心率,收缩压,舒张压差值均数分别为-0.82,1.73,1.67,绝大多数点分布在95%的置信区间内,拥有较好的一致性。心率的误差在3.4%～6.7%。静态下,与欧姆龙电子血压计对比,收缩压误差为-7.39%～3.43%,舒张压为-6.67～4.53%。此系统对设备要求低,环境要求小,操作便捷且无不适感,适用于日常生活中,不会干扰正常的活动。实验结果表明本文所提算法可应用于环境较为复杂的家庭健康监护和长期健康状态监测场景中。

关键词： 深度学习   扩散模型   不确定性   伪装目标检测   遥感目标检测  

摘要： 目标检测是近年来兴起的一项具有挑战性和重要价值的新任务,其致力于分割与环境高度融合的目标。作为计算机视觉领域的关键技术之一,目标检测不仅是理解视觉感知机制的重要科学课题,还在众多实际应用中发挥着重要作用,如物种发现、医学图像分割、船舶检测、国防和土地资源勘探等。 在现有先进的检测方法中,基于扩散模型的范式作为一种广泛应用的方法,已经取得了显著的进步,但它们在实际应用中仍面临着诸多的挑战。一方面,扩散模型通常直接从损坏和嘈杂的掩码中提取特征,缺乏对预测区域的条件约束。因此,它很容易导致预测偏离准确范围,在高度不确定的区域产生了过度自信的错误预测。另一方面,现有的扩散模型主要使用CNN或Transformer作为扩散模型的条件特征提取网络。CNN缺乏对全局感受野的捕捉,导致预测性能不理想。相反,Transformer在全局建模方面表现出色,但面临图像大小的二次复杂度。因此,由于CNN的局部性、Transformer的计算复杂性,它们都存在处理长距离依赖关系的能力有限的问题。 针对上述研究难题,本文围绕基于扩散模型的鲁棒目标检测任务展开系统性研究,并创新性地提出了两种全新的研究方案。主要内容如下: (1)为了增强在高度不确定区域的检测能力,提出了一种基于不确定性引导的扩散模型。该模型明确量化不确定性并将其作为锚点条件集成到扩散模型中,以提供扩散区域的初始化。核心思想首先是利用概率表示和变换器来明确建模不确定性,旨在识别模型可能产生过度自信错误预测的区域。然后,该算法使用不确定性作为锚点条件,为扩散模型提供参考预测范围,指导扩散过程的每个步骤。此外,我们使用不确定性来指导特征聚合,促使模型特别关注不确定性较高的区域的语义特征,以进一步细化检测结果。实验结果表明,该算法在三个主要的伪装目标检测(COD)基准上实现了比现有最先进模型更高的准确率,包括CAMO、COD10K和NC4K。 (2)为了构建能够处理长距离依赖关系能力的扩散模型算法,通过引入了Mamba Dif,这是一种基于Mamba的创新扩散模型架构。具体来说,该算法将光学遥感图像显著性物体检测(ORSI-SOD)视为一个条件掩码生成任务,利用扩散模型并通过向掩码添加噪声并迭代降噪以匹配目标分布来实现目标分布匹配。然后,该算法采用Mamba提取全局特征,高效处理长序列,并以线性复杂度捕获全局上下文信息。此外,该算法引入了全局-局部特征协同模块(GLM),将卷积层提取局部特征的能力与Mamba捕获长距离依赖关系的优势相结合,从而实现出色的降噪性能。大量实验表明,Mamba Dif在两个标准数据集(EORSSD和ORSSD)上均优于SOTA方法。该算法还报告了该模型在具有挑战性的ORSI-4199上的泛化性能,以评估其鲁棒性。