关键词： 图像融合   语义分割   参数优化   目标检测  

摘要： 在果园果实采摘过程中,单一模态图像受限于环境适应性与定位精度,难以满足复杂作业需求。因此在复杂果园下使用异源图像融合技术来整合多模态互补信息,能够有效克服单一模态图像的局限性,有效提升果实定位的准确性与系统的鲁棒性,为果园智能作业提供了可靠支撑。当前果园复杂场景下的异源图像融合的主要挑战包括当前算法适应性和鲁棒性不足、细节与纹理信息丢失、融合图像的定量评估不完善以及多模态图像融合的兼容性问题。这些问题阻碍了果园异源图像融合发展,亟须通过改进算法、优化计算性能来解决。因此,本文工作主要有以下三个方面的内容: (1)针对复杂果园环境下苹果异源图像融合存在前景和背景相互影响导致融合图像质量下降的问题,提出了一种基于M-Unet语义分割的空域变换域果园异源图像融合模型。首先,使用语义分割模块对源图像进行语义分割,得到前景和背景图像。然后,对前景和背景图像进行非下采样剪切波算法变换域分解,得到高频子带和低频子带,并使用基于八个邻域的修正拉普拉斯算子的加权和(Weighted sum of eight-neighborhood-based modified Laplacian,WSEML)和加权局部能量(Weighted local energy,WLE)对高频子带和低频子带进行初次融合。再使用参数优化插件优化后的参数自适应脉冲耦合神经网络(Parameter-adaptive Pulse Coupled Neural Network,PAPCNN)模型对高频子带进行进一步融合,并使用WLE和WSEML对低频子带进行融合。之后使用逆非下采样剪切波算法变换得到变换域融合图像。最后将变换域融合图像以及源图像使用空域融合模块得到最终融合图像。在三个数据集上进行实验验证,与其他融合算法相比,提出的融合模型能够更好地保留源图像的信息和边缘轮廓细节。同时通过实验验证了参数优化插件、语义分割模块、空域融合模块对于融合模型的有效性。 (2)针对M-Unet语义分割的空域变换域果园异源图像融合模型对多模态图像融合效果较差,以及多模态图像融合存在模态差异和信息丰富度不平衡的问题,提出了一种三分支渐进式门控多模态图像融合模型。该模型包括三分支渐进式特征提取模块、特征融合模块、二次门控融合模块。其中三分支渐进式特征提取模块中,对三条分支下采样同层提取后的特征进行差分信息补偿。特征融合模块通过结合改进的门控融合单元(Improved Gated Fusion Module,IGFM)和L2-范数策略对三分支特征图像进行初步融合。二次门控融合模块采用改进的门控融合单元对提取出的二分支差分信息补偿特征图像与初步融合出的特征图像进行二次融合,通过上采样逐步降低通道数得到融合图像。使用六个不同模态的异源数据集对本章模型性能以及效果进行实验验证,提出的三分支渐进式门控多模态异源图像融合模型(Three branch progressive gating fusion model,TBPGFusion)模型在处理图像融合中的模态差异和信息丰富度不平衡问题上表现出色。并通过消融实验验证了三个模块的有效性。此外还通过实验对比论述了本文两种图像融合方法各自的优势,其中本文第三章模型在图像细节和整体运行效率更优,本文第三章模型在图像的整体融合表现上更具优势。 (3)针对图像融合对目标检测任务的促进作用以及果园苹果果实检测方法在华为昇腾边缘设备上的适配与优化工作。通过在Fuji数据集上的实验,验证了图像融合任务对目标检测性能的提升效果,结果表明融合后的图像能够提高检测模型的精度。此外,对比分析了YOLO系列算法在英伟达GPU和华为昇腾边缘设备上的推理效率和模型大小,发现昇腾设备在模型大小和运行效率方面具有显著优势,且检测精度未受明显影响。

关键词： 行人检索   行人重识别   实时系统   目标检测  

摘要： 在数字化监控普及的当下,监控视频分析在犯罪调查、公共安全维护等领域至关重要。但调查人员常面临难题,监控摄像头拍到的罪犯影像多为后视或侧视画面,从海量监控视频档案里,这些无脸部的行人图像对案件侦查的效果有限。传统图像识别与搜索方法,效率和功能难以满足实际需求,阻碍了调查工作的推进。 本文聚焦解决这一关键问题,提出创新的目标检测和行人重识别的实时搜索应用YOLOv8-Reidentification+real-time search application(YRRSA)方法。该方法采用独特的两阶段解决方案,旨在高效处理原始监控视频,实时搜索嫌疑人脸部。 在系统架构上,YRRSA系统融合增强型YOLOv8模型与改进的行人重识别(person reidentification,Re ID)模型。第一阶段子网络,为提升YOLOv8模型提取细节特征的能力,研究设计了多空间到深度(multispace-to-depth,MSTD)模块并应用于YOLOv8模型。改进后的模型可以提取人物细节特征,为后续识别和搜索提供更丰富准确的特征信息。第二阶段子网络构建基于经典的Re ID模型,由经典的Res Net主干网络和设计的动态可变形融合(dynamic deformable fusion,DDF)结构组成。基于DDF结构的Re ID模型能有效处理行人不同程度的身体和肢体变形,提高了Re ID的可靠性。 整体性能上,YRRSA系统的两个子网络性能虽然未超越当前最先进(state-of-the-art,SOTA)网络,但与同等性能水平网络相比。参数数量较大幅降低,模型计算复杂度降低;运行速度有所提升,实际应用中缩短了搜索与识别时间。 此外,为了在理想条件下实现更高准确率和更快速度。且为实现基于背影或者侧影的人脸搜索,设计了唯一目标匹配算法(unique target matching algorithm,UTMA)。该算法可以匹配行人目标与人脸,实际运行中,可以过滤掉不含人脸的行人目标,实现特定人脸检索的功能的同时,提升了应用的速度。 最后,为验证YRRSA方法的有效性和可行性,研究在多个实际场景部署系统测试。成功帮助调查人员在较短时间内从海量监控视频锁定嫌疑人,协助侦破案件。为监控视频分析领域提供新的技术思路与解决方案,有望在未来公共安全保障等领域发挥重要作用。

关键词： 目标检测   联邦学习   DETR   知识蒸馏   模型集成  

摘要： 目标检测是计算机视觉领域的核心任务,在自动驾驶、智能安防等场景中应用广泛。然而,传统目标检测模型在处理复杂场景（如小目标、遮挡物体等）时仍面临特征表达不充分、检测精度不高和推理效率不足等问题。此外,其训练往往依赖于大规模标注数据,而实际应用中数据常因隐私问题难以集中共享,严重制约了模型的泛化性能。联邦学习能够在保护隐私的前提下协同训练,但仍受数据异质性等因素制约。针对以上难题,本文围绕复杂场景下目标检测模型及其联邦学习优化方法展开研究,提出了一种高效目标检测模型与联邦协同训练框架相结合的新方法,以在保证数据隐私的前提下提升复杂场景中的检测性能。 针对传统Transformer检测模型在多尺度特征融合与计算效率上的不足等问题,本文提出了一种双流注意力可变形金字塔与差分-稀疏注意力相结合的Trans-former目标检测框架。该框架在特征提取阶段使用双流注意力和可变形金字塔模块,实现上下文语义的跨尺度融合与动态采样增强,提升了模型对不同尺度与复杂目标的感知能力。设计差分-稀疏注意力机制,有效抑制冗余注意力计算,并将计算复杂度从O（N2）降至线性级别。此外,本文还提出密集一对一匹配策略与匹配感知损失函数,提高了监督信号密度和正样本利用效率。实验表明,该模型在KITTI和COCO数据集上的平均精度（m AP）分别达到67.2%和50.2%,较DETR基准提升5.5%和8.2%,尤其在小目标检测任务中性能增益显著。 针对联邦学习场景下由于数据非独立同分布（Non-IID）导致的模型漂移问题,本文提出一种融合多教师知识蒸馏与模型集成的联邦目标检测框架。客户端通过双模型交替更新机制,协同优化全局公共模型与本地个性化模型,平衡泛化能力与本地特异性;服务器端采用多教师知识蒸馏策略,增强全局模型鲁棒性;同时使用基于特征分布对齐的正则化项,显式约束客户端间模型差异,抑制数据异质性引起的参数偏移。在KITTI和COCO数据集上的实验表明,该框架在狄利克雷参数α=0.1的强异质场景下m AP分别达到59.1%和39.4%,较传统Fed Avg算法分别提升6.7%和7.4%,显著缩小了联邦学习与集中式训练之间的性能差距。 本文成果为隐私敏感场景下的高效目标检测提供了理论支撑与技术路径,在智能安防、自动驾驶等领域具有重要应用价值。

关键词： 多无人机巡检   目标检测   输电线路提取   图卷积神经网络   深度强化学习  

摘要： 高压输电线路的安全与稳定运行对于整个电力系统的可靠性具有重要意义。然而,传统的人工巡检方式存在效率低下、成本高、覆盖范围有限等问题;而单一无人机巡检方法亦难以应对复杂多变的线路环境,存在环境适应性差、任务执行效率不足等局限性,难以满足现代智能电网对高效、智能巡检的迫切需求。针对上述问题,本文提出一种面向高压输电线路异物的多无人机智能巡检算法——AGILE-Swarm。该算法从“感知—融合—决策”三层结构出发,系统构建了一套多无人机自主协同、高效智能的输电线路巡检体系,旨在提升目标检测精度、路径规划合理性以及任务调度效率,主要研究内容如下: (1)在感知层面,提出了轻量级高效目标检测模型LDPI-YOLO,专为嵌入式无人机平台设计。该模型融合了轻量卷积模块LEConv、多尺度特征提取注意力机制MFEAttention与高精度边界框回归损失函数EIoU,在有效降低计算复杂度的同时,实现了对鸟巢、风筝、气球等异物目标的高精度识别。为进一步增强对电力线路结构的提取能力,本文设计了ConvAttHough模型,结合卷积神经网络与空间注意力机制,有效提升了输电线在复杂背景下的结构清晰度与鲁棒性,为路径规划提供稳定的空间参考。 (2)针对多无人机系统在执行复杂巡检任务时面临的任务分配不合理、协同效率低下等问题,本文设计了基于图神经网络思想的多智能体状态感知机制,通过构建无人机与目标之间的图结构关系,实现异构数据(检测结果、位置信息、环境状态等)的深度融合,并据此完成多无人机之间的任务协同、资源调度与区域覆盖优化。在此基础上,引入深度确定性策略梯度算法对巡检路径进行动态优化,使每架无人机在飞行过程中具备连续动作决策能力,能够根据目标位置、地形特征与能耗状态灵活调整航迹、避障路径与优先级执行策略,提升了系统整体的鲁棒性与应变能力。 (3)为验证所提出算法的有效性,本文基于AirSim高保真仿真平台,构建了多种典型天气场景(如晴天、雨天、雾天、雪天、沙尘等),并对LDPI-YOLO模型的检测性能、ConvAttHough提取精度、多智能体任务协同效率与路径规划效果进行了全面实验评估。实验结果表明,AGILE-Swarm在不同环境条件下均表现出优越的检测精度与任务完成效率,尤其在雾天和沙尘等低能见度场景下,仍保持较高的系统稳定性与环境适应能力,验证了其作为多无人机智能电力巡检方案的可行性与实用性。

关键词： FPGA   图像处理   图像传感器   硬件平台  

摘要： 阐述一种基于FPGA的图像处理缺陷检测系统设计，包括硬件架构、传感器选型、软硬件分工策略等关键技术。通过介绍系统框架、传感器和FPGA硬件平台的选择，探讨设计中的软硬件协同设计问题。

关键词： 多传感器融合   目标检测   深度学习   自动驾驶   环境感知  

摘要： 智能汽车的环境感知系统依赖多传感器融合技术以应对复杂动态场景的挑战，本文提出了一种基于深度学习的面向复杂场景智能汽车自适应多传感器融合框架，集成激光雷达、摄像头、毫米波数据，构建“改进YOLOv7+点云伪图像+Transformer动态权重”技术路径，解决异构数据融合难题。在KITTI/nuScenes/复杂天气数据集测试中，雨雾、夜间、遮挡场景mAP达85.7%～92.3%，较传统方法提升7%～15%。消融实验证实：自适应融合模块增强跨模态特征对齐能力，时序同步机制降低12%动态误差。

关键词： 计算机视觉   混凝土裂缝检测   深度学习   卷积神经网络   目标检测   语义分割   自动化检测  

摘要： 近年来，基于计算机视觉（Computer Vision）的混凝土裂缝检测方法通过深度学习技术，特别是卷积神经网络（CNN）和全卷积网络（FCN），实现了裂缝的自动化检测和量化分析。本文综述了基于计算机视觉的混凝土裂缝检测方法，包括图像分类、目标检测和语义分割技术的应用，探讨了其在实际工程中的优势与挑战，并展望了未来的发展方向。

关键词： 目标检测   深度学习   网络轻量化   剪枝算法  

摘要： 随着深度学习技术的进步,车辆和行人道路目标检测算法虽然取得了显著进展,但其对计算资源的需求大,且显存消耗严重,导致在移动端和嵌入式设备等资源受限的场景中应用成本较高。轻量级神经网络以其较少的参数数量和较低的计算需求而著称,更适用于这些场景。针对当前检测模型参数多、计算量大的问题,本文从网络轻量化角度出发,研究了目标检测网络的重构方法、优化与剪枝技术,并探讨了轻量化网络在系统中的部署,旨在设计适用于中低端平台的轻量级算法。 本文所做的主要研究工作如下: (1)轻量级目标检测网络重构方案研究。以YOLOV8n目标检测网络为研究对象,将YOLOV8n模型中的backbone主干网络替换成更为轻量级的Star Net网络结构,改进Bottleneck创新重构了SC2f模块,优化不同尺度特征的融合效果,并利用共享卷积的思想设计高效轻量的检测头(Lightweight Detection Head,LHead),以弥补轻量化网络改进的精度损失,构建一个新的轻量化深度学习目标检测网络YOLOV8-S-S-L。通过实验验证,改进后的算法能够保证模型检测平均精度(Mean Average Precision,MAP)为原模型98%的前提下,将模型的大小和参数量减少了45%,计算量降低了55%。此外,热力图结果显示,该方法与原模型在相同图像上关注区域基本相同。 (2)深度学习目标检测网络优化及剪枝技术研究。针对交通道路场景特性,结合有效的特征融合模块(Scale Sequence Feature Fusion,SSFF)进行优化以及在原有的多尺度特征融合网络结构中增加小目标检测层,从而提升YOLOV8n目标检测网络的识别精度,构建高精度的YOLOV8n-S-P网络,以避免剪枝操作导致识别精度大幅下降影响整体性能。最终,为了降低模型对中低端硬件计算能力的要求,本研究采用了基于幅值的层级自适应稀疏剪枝技术,成功开发出新型的YOLOV8-S-P-L轻量级网络架构。实验结果表明,新构建的网络参数量减少了67%、计算量下降了35%的情况下,仍然提升了2.4%的精度,在实现模型轻量化的同时,显著提升了网络在交通道路环境中对车辆目标的检测效能。 (3)道路目标检测系统的设计与实现。结合本文所提出算法设计了基于Py Qt5和Open CV的道路目标检测系统,可以对行人车辆的图像或者视频进行目标检测。实验结果表明,在有效降低深度学习网络参数量、运算量及模型大小的同时该系统可以准确的对行人车辆图像或者视频进行检测,并实时将检测结果及统计数量显示在系统界面。 本文提出的面向交通道路场景下轻量化目标检测算法,通过优化模型的计算和存储效率,在保持较高精度和实时性能的基础上,成功实现了模型的轻量化。这一改进确保了即使在复杂的道路环境中,模型依然能够表现出较强的稳定性和可靠性。研究成果不仅具有重要的理论价值,也对智能交通和自动驾驶技术的发展具有积极的推动作用。

关键词： 机器视觉   苹果分级   图像处理   分级系统   试验验证  

摘要： 随着自动化技术的不断发展，基于机器视觉的水果分级系统在农业领域逐渐得到应用。本文研究了基于机器视觉的苹果分级系统的设计与试验验证，旨在解决传统人工分级方法效率低、精度差等问题。该系统通过高精度相机采集苹果的图像，结合图像处理技术，挖掘苹果的颜色、尺寸、表面瑕疵等特征，以此为依托实现苹果的自动分级。为保障分级的准确性和高效性，设计了合理的分级标准和高效的分类算法。通过试验验证，本文展示了该系统在苹果分级中的实际应用成效。将系统分级结果与人工分级进行对比，凸显了系统在准确度、分级速度及操作成本等方面的优势。

关键词： YOLOv5S   起重机缺陷检测   深度学习   目标检测   实时性  

摘要： 起重机的缺陷检测对保证设备安全运行至关重要，研究基于改进的YOLOv5s模型对起重机进行缺陷检测，可提升在复杂工况下的检测准确性与实时性。YOLOv5s模型在视觉检测中展现出较高的检测精度和实时性能，但在面对小目标和复杂背景时仍存在一定的局限性。文章分析了起重机常见缺陷的视觉特征，并深入讨论了缺陷检测中面临的挑战与难点，对YOLOv5s模型进行改进，以增强其对起重机缺陷数据集的适应性。优化后的模型在检测准确性与实时性方面均有所提高，可以有效支持起重机缺陷的自动化检测。研究为基于深度学习的起重机缺陷检测提供了新的思路。