关键词： 煤矿井下钻场   目标检测   Yolov10   深度学习   智能化矿山  

摘要： 近年来,随着煤矿智能化建设的不断推进,井下钻场目标检测技术在保障煤矿安全生产中发挥着越来越重要的作用。本文基于改进Yolov10模型的煤矿井下钻场目标检测技术,将深度学习与煤矿安全生产相结合,从模型优化到实际应用,通过对Yolov10模型的深度改进,包括引入Wise-Focaler-MPDIo U损失函数、局部自注意力模块(SLAB与AIFI)、融合MAF-Yolo和BIFPN的Neck模块、g Conv卷积模块以及轻量化共享卷积检测头(LSCD)。 实验部分,使用包含7w多张图片的煤矿井下钻场目标检测数据集,涵盖夹持器、钻机卡盘、煤矿工人、矿井安全帽和钻杆等5类目标。通过精确率、召回率、平均精度均值(m AP)、浮点运算次数(FLOPs)和参数量等指标对改进模型进行评估。实验结果表明,改进模型在保持较高m AP值的同时,显著减少了参数量和计算量,其中参数量降低了45.8%,计算量降低了23.1%,模型参数大小降低了52.6%,表现出良好的检测精度和鲁棒性。 此外,基于改进Yolov10模型开发了矿井安全行为监测软件,采用Py Side6框架,具备用户友好的界面,可实现模型选择、功能选择、输入选择和参数调节等功能。软件能够实时监测矿井人员安全行为并对钻杆数量进行精确计数。

关键词： 低温环境施工   计算机视觉   动作识别   工作状态监测  

摘要： 在一些高纬度城市,建筑工人难免在低温环境下施工,而长期暴露于低温工作环境会对工人的生理和心理健康产生一定影响。与高温环境相比,低温环境对工人影响的症状表现通常存在延迟性,其显现往往滞后于实际暴露时间,难以及时观察和诊断,提高了施工现场管理的难度。目前,在不断建设和完善智慧工地的趋势下,实时采集工人在施工现场的行为和工作状态参数,为智慧平台的建设提供科学数据至关重要。 本文主要针对低温施工环境下工人的工作状态开展研究,传统的研究方法多基于广泛问卷和健康调查,缺乏实时性,而基于入侵性设备采集生理数据的监测方法步骤复杂,影响工人正常的工作状态和工作效率,给高效的施工管理带来一系列问题。为了准确识别工人行为动作,采用计算机视觉技术,对工人取暖系列动作进行精准识别和频率分析,实现低温环境下对工人的实时监测。 首先,在文献综述的基础上,分析低温工作环境对工人的影响。手部是工人最易受到影响的部位,其温度也与手的操作性能和灵活性显著相关。因此重点选取了三类典型的工人手部及上肢的取暖动作进行识别。其次,基于Mediapipe人体姿态估计算法实时提取人体33个关键点信息,结合长短期记忆网络(LSTM)和Scikit-learn分类算法,多次训练得到动作分类模型,同时对比了根据人体关键点相对位置直接进行动作识别的方法,根据人体关键点相对位置的识别方法更适合本文提出的识别场景。接下来进行实验设计,在-15℃至-18℃的室外环境中采集工人在模拟砌砖、搬运、铲雪三类施工任务中的取暖动作频率,验证基于计算机视觉监测低温环境下工人工作状态的准确性和有效性。最后,在该监测方法的基础上进行了实际应用模拟,分析对低温环境适应性不同的工人,在三类施工任务中的工作状态和表现,探讨不同工作强度和冷暴露强度对工人工作效率的影响;综合以上分析结果,针对不同工作条件和工作种类提出了差异化的取暖措施与建议,为低温环境下施工管理提供了参考。 本文通过计算机视觉技术实现了对工人状态的实时监测,拓宽了低温环境不适工作条件下工人工作状态监测的角度,有助于进一步保障低温工作环境中工人的健康,为不同施工环境下的安全管理提供理论依据与实践建议。

关键词： 深度学习   路面缺陷   目标检测   语义分割  

摘要： 在路面状况管理、维护策略规划以及自主移动机器人路径导航等领域,路面缺陷的精准检测与识别至关重要。轻量级深度学习模型因具备低计算需求和快速推理能力,成为移动端路面缺陷检测的理想之选。然而,实际道路环境中存在诸多难题。路面缺陷形态多样且不规则,多尺度特征不明显,这使得轻量级深度学习模型在检测时容易出现漏检与误检的情况。针对上述问题,本研究致力于优化轻量级深度学习模型。通过一系列方法,在确保模型推理效率不受影响的前提下,增强其检测精度,以实现对路面缺陷的有效识别。以下是本研究的具体内容概述: (1)本文设计了基于YOLOv8n改进的路面缺陷检测模型,旨在解决原模型在特征提取和多尺度学习方面的不足。具体而言,通过将C2f＿FE模块引入到Backbone与Neck部分,模型能够精准生成候选区域,提高检测准确性。同时,引入EMA机制,动态剖析特征图的重要程度,对特征进行智能加权融合,进一步强化检测精度。C2f＿FE模块不仅保留了原模型的速度优势,借助EMA机制,其性能也得以显著提升。此外,为了有效保留浅层关键信息,模型采用了Enhanced＿Rep GFPN特征融合方法,这对提升检测精度至关重要。针对路面裂缝样本不平衡的问题,引入GSCon卷积操作,有效改善了模型对裂缝的检测性能。验证实验结果表明,本文提出的检测模型在路面缺陷识别中具有显著的有效性。 (2)本文提出了一种基于编码器解码器结构的路面缺陷分割算法,旨在高效提取路面图像的重要语义信息。算法中引入了轻量化的卷积结构,该卷积结构借鉴了扩张卷积与可分离卷积的特点,减少了参数量与复杂度,实现了资源节约。为增强分割精度,将多尺度非对称注意力模块嵌入于解码器与编码器连接部分,使网络能敏锐捕捉不同尺度下的路面缺陷特征,提高模型对复杂场景的适应性。尽管卷积神经网络(CNN)在局部特征提取上表现出色,但在全局表示捕获方面存在局限。为此,本文采用Transformer块,优化编码器从最深尺度提取的尺度特征图,使网络学习到长期依赖关系,有效整合全局信息,提升路面缺陷识别准确性。针对路面缺陷分割的二分类问题,特别是正负样本不平衡的特点,本文采用混合损失函数,平衡正负样本对损失函数的影响,提升模型稳定性和泛化能力。通过验证实验,证明了本文提出的分割模型在路面缺陷识别上的有效性。 (3)本文设计了路面缺陷检测系统的软件,重点优化算法推理速度与用户体验。采用Tensor RT技术,通过合并网络层、应用半精度FP16,加速算法模型。开发了集成路面缺陷检测与裂缝分割算法的软件系统,并使用Py Qt5设计直观易用的图形界面。经实际测试,该软件已验证能有效完成真实路面缺陷的检测任务。

关键词： 光电忆阻器   负光电导效应   储备池计算   图像处理  

摘要： 感内计算是一种将计算能力下沉至传感器层面的新兴计算模式。通过在传感器采集数据时同步进行初步处理与分析,该模式能够显著缓解数据传输瓶颈,降低数据传输能耗与延迟。当前,多数用于模拟视觉功能的感内计算芯片基于正光电导机制,但此机制存在功耗过高的弊端。 针对上述问题,本研究提出基于负光电导机制的感内计算芯片设计方案。相较于传统正光电导机制,负光电导机制下器件电导会随光照强度增强而降低,该特性与感内计算低功耗、高效处理的需求高度适配。基于此,本文围绕聚偏氟乙烯(Polyvinylidene Fluoride,PVDF)忆阻器开展系统研究,旨在利用其负光电导特性与突触特性模拟视网膜功能,实现高效图像识别。具体研究内容如下: (1)聚偏氟乙烯忆阻器的阻变特性及其机理研究。通过溶胶-凝胶法旋涂制备的Au/PVDF/ITO结构忆阻器,可以获得多个可分离的稳定的电导状态。在本研究中,运用多种材料学及电化学的表征手段,系统地阐释了Au/PVDF/ITO忆阻器的阻变原理,并构建了相应的机理模型。通过对其伏安特性曲线的拟合,确定了聚偏氟乙烯忆阻器的阻变特性由空间电荷限制电流机制主导。 (2)聚偏氟乙烯忆阻器的光电突触特性研究。光照导致器件电导态的改变呈现出非易失的特性,并且可以借助光脉冲与电脉冲的参数来进行模块化调控。在405nm激光照射下,该光突触器件展现出稳定的负光响应。通过调整脉冲的宽度、高度、频率等参数实现了短时程抑制、长时程抑制以及短时程抑制到长时程抑制的转变。此外,利用该器件的负光电导效应实现了图像去噪及其图像擦除等功能,为视觉信息预处理提供了新途径。 (3)聚偏氟乙烯忆阻器的视觉模拟。鉴于PVDF忆阻器在模拟生物突触、处理时序信息方面的独特优势,本文将其与储备池计算相结合用于手写数字识别。首先,基于Au/PVDF/ITO忆阻器电特性构建的储备池计算系统在手写数字识别中取得了95%的准确率,但功耗较高。进一步研究发现,利用Au/PVDF/ITO忆阻器光突触特性构建的储备池系统不仅识别精度提高到了96.5%,还将功耗降低至1.1μW。 本研究成果为感内计算芯片的低功耗设计与高效视觉计算提供了新方法,在智能终端视觉感知、边缘计算等领域具有重要应用潜力。

关键词： 肝脏影像分析   深度学习   目标检测   标签噪声   小目标检测  

摘要： 医学影像在临床诊断、治疗决策及疗效评估中发挥着至关重要的作用,尤其在肝脏疾病的早期检测方面,其应用价值不可替代。然而,由于肝脏影像在不同成像期相(如无造影剂图像、动脉期、门静脉期等)中的显影特征存在显著差异,并受到影像噪声、低对比度、小目标病灶等因素的影响,使得肝脏病变的自动检测面临诸多挑战。传统医学影像分析主要依赖人工阅片,受主观因素影响较大,难以高效处理海量影像数据,导致诊断效率和准确性受限。因此,基于深度学习的医学影像分析技术逐渐成为该领域的研究热点。 本研究提出了一种面向肝脏多期相CT影像的改进YOLOv7-tiny(You Only Look Once)医学图像目标检测算法,旨在提升病灶检测的精度与鲁棒性。在模型设计方面,采用轻量化YOLOv7-tiny作为检测主干网络,结合跨期相图像融合策略,增强模型对时相变化特征的适应能力。在损失函数方面,构建了一种基于噪声感知的重加权损失函数,引入不确定性权重,以抑制标签噪声干扰。在结构优化方面,设计了高差池化模块以提升对小病灶的识别能力。 实验在包含三期肝脏CT图像的真实临床数据集上进行,训练集共包含30,878张图像,改进后的方法在多期相图像检测中取得精度为84.66%,相比原始方法提升2.54个百分点。 本研究的主要贡献包括:(1)构建了面向多期相影像的YOLOv7-tiny目标检测框架,提升跨期特征融合与检测稳定性;(2)提优化了噪声抑制策略,设计加权损失函数,有效增强模型在低质量影像中的鲁棒性;(3)改进小目标检测机制,优化池化层结构,提高模型对微小病灶的识别能力。 研究成果不仅适用于肝脏疾病的目标检测,还可推广至其他医学影像分析任务,为智能医疗的发展提供技术支撑。

关键词： 苹果叶部   病害识别   目标检测   深度学习   RT-DETR  

摘要： 苹果作为重要的水果作物,因其丰富的营养价值而广受欢迎。我国是苹果生产大国,对苹果的质量和产量要求严格。然而,气候和环境变化常导致苹果叶部病害,成为制约产业发展的关键因素。随着人工智能的快速发展,基于深度学习的病害识别方法逐渐兴起,但由于病害种类繁多及环境复杂性仍影响识别准确性。为此,本文提出一种多尺度优化RT-DETR方法,用于高效识别苹果叶部病害,主要研究内容如下: (1)基于改进RT-DETR的苹果叶病害识别。本文以Res Net18为主干网络,提出四项改进:在主干网络中引入由PConv卷积和SimAM注意力机制相结合成新的PCSA模块,增强病害特征提取能力并降低模型的计算量;在编码器的AIFI结构中引入级联分组注意力机制,提升对病害细节的敏感度;将CCFM模块替换为多尺度特征提取模块,进一步捕捉不同尺寸和形状的病害目标;采用MPDIo U损失函数,提升模型的定位精度。 (2)实验设计与分析。本文构建了五类常见苹果叶病害的数据集,并开展了基准实验、对比实验和消融实验,评估各项改进策略对模型性能的提升效果。实验结果表明,优化后的RT-DETR模型在m AP值上提升了3.2%,同时,模型的参数量和计算量分别减少了28.9%和16.8%,显著提高了模型的性能。最后,通过对不同病害类别的可视化分析,进一步验证了改进模型在苹果叶病害检测中的有效性。 综上所述,本文提出一种多尺度优化的RT-DETR改进策略,该方法利用深度学习技术准确识别苹果叶部病害,为智慧农业提供新的参考思路和方法。

关键词： RGB-T显著性目标检测   跨模态信息挖掘   特征融合   特征增强  

摘要： 视觉显著性检测技术旨在仿生人类视觉系统对复杂场景的主动选择与聚焦能力,通过智能算法自动定位并识别场景中具有高信息密度的关键区域,现已成为智能感知领域的研究热点。尽管单模态图像的显著性检测技术已取得长足进展,但在低光照、极端天气等复杂场景下仍面临性能瓶颈。随着多源传感器技术的成熟与普及,RGB-T显著性目标检测逐渐成为突破单模态局限的重要路径。但对于如何高效地实现显著性目标区域的精准定位,引导多层次特征充分聚合,提高对有益特征的利用率;如何提高热红外信息在模型中重要性的占比,有效的发挥RGB和热红外数据各自的优势仍然具有挑战。因此,本文分别针对上述目前RGB-T显著性目标检测中存在的问题展开研究,设计了两种网络用于优化跨模态显著性目标检测的性能。 旨在突破单模态特征交互的局限性,提出一种基于挖掘和增强跨模态信息的网络。网络架构包含跨模态注意模块,通过通道维度的全局特征关联建模与空间维度的局部显著性响应校准,实现跨模态关键线索的精准捕获与跨域特征对齐。针对跨模态特征交互过程中的信息冗余与表征瓶颈,构建反馈式特征精炼机制,建立双向特征优化通路,显著提升复杂场景下的目标定位精度与边缘保持能力。在广泛使用的3种RGB-T SOD的基准数据集上,与其它13种先进的算法进行比较,从定性和定量的角度展示了所提出模型的优越性。此外,通过消融实验证明了所提出模块的有效性。 针对RGB-T显著性检测任务中往往将热模态视为辅助信息,本文提出一种基于利用渐进式特征融合引导的平行对称双分支结构的网络,该方法通过平衡各模态的贡献权重,实现跨域特征的最优互补。该方法包含粗细粒度特征感知模块,通过堆叠卷积实现多尺度特征的自适应对齐,在保留底层细粒度空间细节的同时,构建跨层特征增强通路,形成全局-局部特征的多级迭代优化机制。此外,为了进一步实现多模态特征的逐层聚合,将输入特征动态划分为多粒度特征切片,通过并行子分支实现细粒度特征提取与表征增强,实现多模态数据的互补融合的同时抑制噪声干扰下的特征冗余。在广泛使用的3种RGB-T SOD的基准数据集上,该方法与其它6种先进的算法进行比较,从定性和定量的角度展示了所提出模型的性能,通过消融实验证明了所提出模块的有效性。

关键词： 目标跟踪   时序跟踪   稀疏化跟踪  

摘要： 目标跟踪作为模式识别领域的核心研究方向,其核心任务是通过给定目标的初始状态(位置、尺度等),在后续视频序列中实现目标的持续精确定位。近年来,研究表明上下文信息感知对提升跟踪性能具有关键作用。现有方法通常通过引入多帧历史信息来捕获上下文,然而这类方法存在两个显著局限性:一方面,原始视频帧中不同区域对跟踪任务的贡献度存在显著差异,但现有方法未能有效区分;另一方面,有效上下文信息往往稀疏分布在视频帧中。这种不加区分的原始帧利用方式容易受到噪声和冗余信息的干扰,导致跟踪性能下降。针对当前跟踪器未能充分考虑参考帧区域贡献度差异的问题,本文聚焦于稀疏上下文感知的目标跟踪研究。本文的主要贡献包括: (1)本文提出了基于细粒度上下文感知的目标跟踪算法。具体的,跟踪器通过自动学习高质量的参考上下文,以实现精准且高效率的视觉跟踪。该跟踪器以“少即是多”为核心思想,即少量关键的上下文信息对跟踪过程中的目标定位起着决定性的作用,因此,其分析所有输入上下文的重要性分布,而其中重要上下文会在后续跟踪中被收集、持续关注和更新,从而最大程度避免冗余上下文以及噪声的影响。具体而言,设计了一种新颖的上下文存储模块,以自回归方式动态收集目标的高质量时空信息,同时消除参考帧内冗余的背景上下文。此外,设计了一种有效的单向图像块注意机制,以建立参考上下文和搜索帧之间的依赖关系,实现鲁棒的跨帧关联和目标定位。广泛的实验证明了我们的跟踪器的优越性,在现有多个跟踪基准数据集上取得优异的结果,如GOT-10K达到了80.1%AO的性能。 (2)本研究提出基于稀疏关键点采样的目标跟踪算法。该算法的创新性体现在三个方面:首先,采用动态特征采样机制,根据目标特征和运动状态自适应调整采样点分布;其次,对每个采样点独立预测其空间偏移量和目标尺度;最后,引入基于自适应归一化层的运动信息嵌入方法,通过调整搜索区域的均值和方差来融合运动先验。相比传统卷积方法,该稀疏采样机制具有双重优势:在特征提取层面,通过建立长程依赖关系克服了传统方法感受野受限的问题;在计算效率层面,通过减少冗余计算显著提升了算法在复杂场景下的实时性。广泛的实验证明了我们的跟踪器的优越性,在跟踪基准(如GOT-10K,Tracking Net和La SOT)上取得了先进的结果,如Tracking Net达到了85.2%AUC的性能。