关键词： 双目视觉   机械臂   目标检测   YOLOv8   路径规划  

摘要： 作为我国重要的经济作物之一,苹果的产量、种植面积以及出口量均在全球占据领先地位。随着苹果种植规模的不断扩大、产量的持续增长以及采摘成本的日益增加,采用机械臂进行采摘作业以替代传统人工方式,不仅能有效提高果实采摘效率,还展现出巨大的开发潜力,为果农带来可观的经济收益。然而,在复杂的自然环境中,现有技术存在一定局限性,难以满足高效生产需求。因此,本文致力于构建苹果采摘平台,对双目视觉机械臂的目标检测、路径规划等多个方面深入研究。本文主要工作内容如下: (1)对复杂环境下机械臂抓取任务、视觉方案及夹持力范围分析。首先,通过需求分析对机械臂、相机和末端执行器进行选型,并将相机与末端执行器安装于机械臂合适位置;其次,研究相机模型及视觉标定方法,完成起始相机标定,获得相机内参矩阵和畸变系数,对采摘机械臂平台进行手眼标定,为机械臂执行抓取任务提供坐标数据,使机械臂通过视觉感知目标位置;最后,根据苹果物理特性,使用物性分析仪获得苹果果实最大、最小夹持力,使机械臂在不损伤苹果果实的前提下进行抓取。 (2)提出了一种YOLOv8-MobileCM目标检测算法。该方法通过在YOLOv8骨干网络基础上替换为Mobile Net V3轻量化网络,并在颈部网络添加GAM全局注意力机制,替换上采样模块,提高特征提取性能;此外,引入Focal-EIo ULoss损失函数,从而增强检测模型性能。实验表明,所提改进算法更加优越,检测精度提升4.5%,满足机械臂开展采摘任务所需检测精度。 (3)改进Bi-RRT路径规划算法,实现复杂环境下机械臂避障。首先,通过椭圆采样获得初始路径,加快收敛速度,使搜索路径生长具有导向性;其次,将固定步长优化为自适应步长,利用三角不等式剪枝策略对冗余节点进行剪枝缩短搜索路径长度,对搜索的最优路径进行三次B样条平滑处理,使机械臂路径更加平稳,以此保证轨迹规划的精度;最后,Move It使用改进路径规划算法,控制机械臂运动并实现轨迹规划。仿真比较实验表明,路径搜索时间由原始算法的0.935秒缩短到改进算法的0.326秒,机械臂各关节在进行规划运动时呈现平滑运行状态,提升机械臂开展采摘任务质量。 (4)搭建室内苹果采摘平台,进行空间定位及机械臂苹果采摘实验。在不同光照环境下进行苹果定位实验,目标定位误差控制在5.05mm误差之内,满足对实时检测的需求;开展室内机械臂采摘实验,采摘成功率达到92.59%,抓取单个苹果的平均时长为15.00s,实验中机械臂各关节无抖动且运动轨迹平稳,其满足室内实验任务需求。

关键词： 红外小目标   目标检测   物理特征   深度特征   特征融合  

摘要： 红外小目标检测作为目标感知领域的关键技术,在军事预警、民用安防和工业生产等领域具有广泛的应用价值。当前红外小目标检测仍面临目标信噪比低、特征表达弱等挑战,现有方法在复杂背景抑制和目标特征提取方面仍存在不足。针对这些问题,本文围绕强化小目标物理特征和深度特征提取能力,提升小目标检测精度和算法鲁棒性等关键技术开展研究,提出了多维特征融合的物理特征提取方法、构建了多尺度深度特征提取网络,设计了高精度的小目标检测算法,并完成了红外小目标检测软件的设计与开发。 在小目标物理特征提取方面,本文基于目标及其邻域的局部对比度、统计信息熵和梯度特性,提出了一种多维特征融合的红外小目标物理特征提取方法。该方法改进了Scharr算子以优化梯度计算,结合方向角滤波模块和双邻域梯度模局部对比度模块提取目标区梯度特征,并利用局部统计信息熵增强特征描述能力。实验结果表明,该方法能够有效提取小目标的物理特征,并抑制背景干扰。 在深度特征提取方面,本文以U-Net++为基础框架,设计了多尺度红外小目标深度特征提取网络。该网络凭借相邻尺度信息补偿的特征融合机制,结合特征对齐均分、空间注意力和跨尺度信息聚合,提升了网络对关键信息的动态聚焦能力,实现了跨尺度特征之间的信息补偿和选择性融合。实验结果表明,嵌入机制后的深度特征提取网络,在复杂场景下展现出更出色的特征提取性能和泛化能力。 为提升小目标检测算法的检测性能和鲁棒性,突破单一特征模态在复杂场景下的局限性,本文构建了多特征融合的红外小目标检测网络,用以提升小目标检测精度。该网络采用双流特征融合模块实现了物理特征与深度特征的互补增强。网络还集成了注意力机制引导的编解码策略和深度监督策略,实现了特征通道与空间维度的自适应优化,提高了弱小目标的检测与定位精度。实验结果表明,所提算法在公开数据集上的性能优于当前主流方法。 最后,基于PyQt5开发了红外小目标检测软件,并进行了检测算法的测试验证。该软件能够集成本文提出的特征提取方法和小目标检测算法,具备图像数据加载、特征提取、目标检测和结果保存等功能。软件还通过My SQL数据库管理系统实现了检测数据的规范化存储和管理,为算法验证提供了可靠技术支撑。

关键词： 麦穗   小目标   目标检测   端到端   深度学习  

摘要： 计算机视觉技术的广泛应用显著提升了作物生长监测的精确度,并为智慧农业的发展提供了技术支持。然而,在小麦生长过程中,精准的麦穗检测仍面临诸多挑战。由于麦穗与背景色的相似性、密集分布导致的目标遮挡以及自然光照条件的影响等因素制约了麦穗检测的准确性。本研究以小麦麦穗为研究对象,优化端到端深度学习检测模型,以提升农业装备对麦穗的检测精度,为智能农业提供理论依据和技术支持。本研究的主要内容如下: （1）本研究对麦穗检测数据集进行了筛选与扩充。初步从全球麦穗检测数据集中选取了3,499张图像,涵盖162,154个麦穗标签。为了增强数据集的多样性并提高模型在不同场景中的泛化能力,采用多种数据增强策略生成了1,000张新的图像,最终将数据集规模扩展至4,499张图像。此数据扩充过程有助于提升模型对复杂田间环境的鲁棒性,从而提高麦穗检测的准确性和适应性。 （2）针对传统麦穗检测效率低、准确性不足的问题,本研究设计了基于RT-DETR模型优化的麦穗检测模型,以提升检测精度。模型在骨干网络中嵌入SPD-Conv模块,以增强细微特征捕捉能力,提高对遮挡目标的识别效果。同时,采用CG Block模块替换混合编码器中的卷积操作,提升特征学习能力和复杂背景下的目标区分度。实验结果表明,该模型在全球小麦数据集上的m AP50、m AP50:95、精确率和召回率分别达到93.5%、54.5%、91.2%和89.0%,具备良好的检测精度与鲁棒性,为智能农业管理提供技术支撑。 （3）针对麦穗检测过程中计算复杂度较高的问题,本研究构造了基于YOLOv11优化的麦穗检测模型。在特征提取与融合阶段,采用C3k2＿Wave Block结构替代传统C3k2结构,以提升模型在遮挡目标和密集排列目标情况下的检测能力。加入Shape-Io U损失函数,使边界框回归能够更好地建模目标的形态与尺度信息,提升回归精度。实验结果表明,实验结果表明,优化后的模型在m AP50、FLOPs和参数量方面分别达到94.7%、6.7G和2.8M,显著降低了计算复杂度,同时保持了较高的检测精度。 综上所述,针对复杂田间环境下的麦穗检测任务,本研究基于深度学习优化端到端检测方法,以提升检测精度和计算效率,为智能农业提供技术支撑。

关键词： 知识蒸馏   多模态图像融合   目标检测   遥感图像解译   注意力机制  

摘要： 遥感图像解译技术作为地理信息获取与空间认知的核心手段,在我国城市规划、环境监测、及国家安全等领域具有重要战略价值。然而,目前我国仍存在地面接收站分布受限,通信窗口较窄的问题,导致大量星载遥感图像不能及时回传地面而被丢弃。因此,需要在星载平台上部署高精度的轻量化遥感图像解译模型。 知识蒸馏是获取轻量化模型的关键技术,通过高精度但规模大的神经网络来提高轻量化模型的预测性能。那么如何训练出一个精度足够高的大规模神经网络,以及通过更加合适的知识蒸馏策略提高轻量化模型的训练效果是其中最为关键的两个问题。为了解决上述问题,本文开展了如下工作: (1)提出了一种基于多模态图像融合的目标检测算法。以全新设计的轻量级多尺度混合注意力机制GCFA为基础提出了一个多模态图像融合模块,用于更好地提取每个模态图像的特征。该注意力机制从CBAM以及CA注意力机制中获得灵感,将通道注意力以及空间注意力并行计算,并在计算过程中进行交叉,减少对卷积层的应用,从而在不大幅增加网络深度的同时提升图像信息提取的效果。多模态图像融合模块以GCFA为基础,在提取每个模态的图像信息之后进行融合,从而结合每种模态图像的优点,提升最终的检测效果。本文在VEDAI多模态小目标检测数据集上进行实验,结果表明本文提出的目标检测算法达到了更先进的性能。 (2)提出了一个基于掩码生成的特征蒸馏框架。蒸馏过程中首先将学生模型输出的特征图随机掩码,并使用以Swin Transformer为基础设计的特征生成器重新生成教师模型的特征图,最后使用MSE计算与教师模型特征图的距离作为蒸馏损失函数,让学生模型具有更强的表征能力。在此基础上,整个蒸馏框架在YOLOv5的backbone中的C3层进行特征蒸馏,并选择在激活函数前进行特征转移,以便学到教师模型特征图中更全面的信息。最终在VEDAI数据集上验证了所提出的特征蒸馏框架的可行性。 (3)开发了一个遥感图像目标检测系统。根据本文轻量化遥感图像目标检测模型的研究成果,设计了一个面向遥感图像的目标检测系统。

关键词： 深度学习   小样本学习   目标检测   对比学习   迁移学习  

摘要： 近年来,小样本目标检测因其对大规模标注数据依赖性低的优势,在医疗影像分析、遥感图像监测及工业缺陷检测等高标注成本应用场景中展现出巨大的应用潜力。该任务旨在利用少量标注样本(通常每类别1至30张图像)实现对新类目标的精确识别与定位。尽管现有方法,如基于元学习和迁移学习的策略,已在一定程度上提升了小样本检测性能,但样本稀缺导致的特征表达能力不足仍是制约其发展的核心瓶颈。尤其在中间层特征表示中,传统策略难以充分挖掘任务相关的判别性语义信息,导致模型在复杂背景或类间相似目标场景下出现识别模糊和泛化能力下降的问题。此外,如何有效强化模型对判别性区域的关注并抑制冗余干扰特征,也是提升检测精度的关键挑战。 针对上述挑战,本文提出一种分层动态自适应网络特征校准算法,旨在解决特征偏移问题。该算法通过引入多尺度分层结构实现图像的细粒度语义建模,并利用动态通道重标定机制实现中间层特征的自动校准与增强。该模块具有即插即用特性,可无缝嵌入主流目标检测框架,在保持模型轻量化的同时显著提升其对任务相关区域的敏感性。此外,本文引入的复合损失函数通过动态分配特征权重,进一步保障了模型在极少样本条件下的稳定学习能力。在PASCAL VOC和COCO等基准数据集上的实验结果表明,该方法相较于传统策略,检测精度提升了1.5%。 在此基础上,本文进一步提出基于两阶段特征分离与知识蒸馏的特征自适应增强算法,为了强化特征表达能力。该算法从特征建模层面设计显式分离机制,以有效区分任务相关信息与任务无关信息,从而抑制干扰区域并强化关键特征表达。通过结合局部增强模块与蒸馏引导策略,该网络能够在训练过程中动态聚焦高判别性语义区域,显著缓解了小样本条件下的特征退化问题。实验结果显示,在极端小样本情境下,该方法的检测精度最高提升2%。 为了增强模型信息捕捉能力,本文还继续探索了小样本目标检测与Trans-former架构融合。本文设计了针对小样本场景的Transformer模块,通过引入多头注意力、位置编码及双向特征融合,解决了传统方法在长距离依赖和全局信息捕捉上的不足。理论与实验证明了Transformer在该条件下的优劣势,为相关研究提供了一种思路。

关键词： 弹丸章动   尾翼稳定弹丸   双目视觉   图像处理   模板匹配  

摘要： 在靶场试验中,弹丸章动参数是描述弹丸在空间中运动状态的关键指标,对于深入研究弹丸飞行稳定性至关重要。由于迫击弹尾翼的独特特征,传统的无控旋转弹丸弹头弹尾识别方法会导致测量精度不足、测量效率低下等。针对以上问题本文基于双目视觉测试方法研究了尾翼稳定弹丸章动参数测试技术。 论文在深入探究视觉测量方法的基础上,设计了弹丸飞行姿态测试系统的总体方案,基于双目交汇测量原理构建出弹丸章动姿态解算模型。以靶场中实际拍摄到的迫击弹为对象,研究了尾翼稳定弹丸的检测与提取算法,针对图像中椒盐噪声多、图像边缘不清晰等问题,研究了高斯滤波、中值滤波、双边滤波等滤波算法对弹丸图像噪声的去除效果和弹丸图像边缘保留效果。针对图像整体偏暗、对比度不明显的问题,研究了全局、自适应、限制对比度等直方图均衡化算法对迫击弹图像质量的提升效果。针对弹丸视频中静态背景的特征,通过背景差分法提取到弹丸前景目标。接着通过闭运算填补了二值化后目标中的孔洞,消除了图像内部的噪声点,通过轮廓提取算法提取到了弹丸轮廓。接着,针对弹丸尾翼的形状特征,对比了不变矩阵和轮廓匹配等几种基于形状的模板匹配算法对弹尾的识别效果,针对弹丸尾翼的像素灰度特征,对比了SSD、NSSD、NCC等几种基于像素灰度值的模板匹配算法对弹丸弹尾识别效果,最终选取NCC进行弹尾识别。在识别到迫击弹弹尾的情况下,本文研究了基于弹丸轮廓特征和弹丸最小外接矩形的弹头提取方法,针对迫击弹炮口飞行特征,研究了弹丸出炮口阶段的空间散点坐标的拟合方法。最后,设计了弹丸章动测试软件,并进行了室外靶场测试试验。 本文所研究测试技术能够完成迫击弹弹头弹尾以及质心像素坐标的提取,弹丸弹头弹尾的平均识别成功率达到94.84%,实现了迫击弹丸空间章动角的测量,为新型弹药的动态稳定性评估提供了有效的测试手段,为弹丸飞行姿态监测领域提供了新的技术方案。

关键词： 车轮卡顿   车轮摆动   轨迹分析   计算机视觉   故障检测  

摘要： 烧结工艺是钢铁生产的重要步骤,为高炉炼铁提供优质的原料。烧结机台车作为烧结工艺的核心设备,周期性地运输烧结矿石,烧结机台车的运行状况直接影响烧结矿的质量和钢铁生产的整体效率。烧结机台车长期在高温、重载、高浓度粉尘的恶劣环境下不间断运行,车轮轴承容易出现堵塞、断裂或弯曲等故障,进而产生车轮卡顿或摆动现象。如果不及时对故障车轮进行维护,可能导致车轮脱落,引发生产事故。针对低速重载运行下的烧结机台车轴承故障检测自动化水平较低,人工定期停机检修费时费力等问题,本文提出了一种基于螺栓运动轨迹的车轮卡顿和摆动检测算法,同时检测车轮的卡顿和摆动现象,从而判断烧结机台车的轴承故障情况。 本文的研究内容主要包括以下四个部分:(1)车轮子部件目标检测和螺栓运动轨迹绘制:构建烧结机台车车轮图像数据集,利用YOLOv9网络训练车轮关键子部件检测模型;计算六个螺栓坐标框的中心坐标并采用最近邻匹配算法对螺栓中心坐标进行坐标匹配,以获取同一螺栓的运动轨迹。(2)基于多轨迹GRU与多头注意力机制的车轮卡顿与摆动检测算法:使用所构建的模型对正常轨迹、卡顿轨迹及摆动轨迹进行分类,比较所构建的其他循环神经网络模型的性能,选择多轨迹GRU与多头注意力机制模型应用于车轮卡顿与摆动检测。(3)基于螺栓运动轨迹残差的车轮卡顿与摆动检测算法:基于螺栓运动原理构建数学模型,计算螺栓的正常运动轨迹,并与实际轨迹对比,计算轨迹坐标的残差值,通过设定残差阈值实现台车车轮卡顿与摆动的检测,从而进一步检测轴承故障。(4)烧结机台车车轮卡顿与摆动检测系统:构建基于PyQt5和MySQL数据库的检测系统,集成上述两种算法,形成完整的检测系统,用于烧结机台车车轮运行状态的实时监测与故障诊断。 为了验证卡顿和摆动检测的准确性,搭建了烧结机台车车轮卡顿和摆动检测平台,对所提的算法进行测试。多轨迹GRU与多头注意力机制模型的准确率为90.38%,比所构建的其他循环神经网络模型表现更优。使用基于螺栓运动轨迹残差的车轮卡顿与摆动检测算法对120段视频进行卡顿和摆动检测,测试集中视频均准确地完成了车轮的卡顿和摆动检测。构建故障检测系统集成两种卡顿与摆动检测算法,形成完整的卡顿和摆动检测系统,为烧结机台车轴承故障检测提供可行的方案。

关键词： 多目标场景   机械手   目标检测   抓取姿态估计   抓取决策方法  

摘要： 在工业领域的人机协作系统中,稳定可靠的抓取能力是实现高效生产的关键基础。抓取检测算法的精度直接影响机械臂的操作安全性与任务成功率。然而,在非结构化复杂场景下,目标物体的姿态空间分布呈现高度无序特性,加之物体间密集堆叠产生的物理交互干扰,现有算法仍面临准确性与安全性不足的问题。本课题针对多目标场景下机器人抓取姿态估计的准确性与安全性难题,提出基于深度神经网络的多目标抓取姿态估计方法,以实现关键技术突破。核心研究内容包括: (1)提出了多目标场景下的抓取姿态估计方法,构建多目标场景下的求解框架,概述了本课题后续算法部署所依赖的相关硬件设备。对UR5机械臂进行机器人正逆运动学分析并介绍了Jetson Nano边缘部署设备。对相机的彩色和深度的物理成像机制进行建模分析,推导了图像坐标系至世界坐标系的几何变换关系,并获得深度相机的固有参数矩阵。在抓取检测模块中对抓取预测的二维表示方式进行了研究,基于机器人基座标系与图像坐标系间转换矩阵,实现了二维检测结果到三维抓取姿态的几何空间映射。 (2)针对多目标复杂场景下传统检测算法存在的定位偏差问题,提出基于旋转边界框的预测方法,通过调整检测框几何表征形式抑制环境干扰因素。结合轻量化幻影卷积结构与感受野注意力机制构建网络,在降低模型计算负荷的同时增强多尺度特征表达能力。通过自建复杂平面场景数据集训练目标检测网络,实现对上层无遮挡目标的优先识别。测试结果显示改进后的模型在多物体顶层无遮挡的检测精度可达91.3%,可以满足实时检测需求并且具备跨场景迁移能力。 (3)针对机器人抓取姿态估计中的抓取姿态估计准确性不足的问题,提出基于生成抓取卷积网络(Generative Grasping CNN,GGCNN)的改进型IWGNet(Inception-WFF-GGCNN)架构。通过构建深度特征提取结构与自适应特征融合机制,在继承GGCNN框架优势的基础上实现两项关键创新:首先采用Inception模块加深网络,增强空间特征表达能力,其次设计权重自适应的跨层级特征融合路径,有效提升抓取位姿预测的稳定性。为验证方法有效性,在康奈尔抓取数据集上进行基准测试,实验结果表明该网络在图像级评估中达到88.02%的检测准确率,较原始GGCNN方法在抓取准确性方面表现出显著提升。 (4)针对多目标抓取场景中优先级决策与执行稳定性的问题,提出基于感知的抓取规划策略。综合考虑抓取物体的深度和稳定性,建立权重评估机制。在此基础上,通过基于ROS通信框架机器人抓取仿真测试平台来完成方法验证,结果表明在5/7/10零件工况下平均抓取成功率达92.7%,表明该方法在多零件环境中具有稳定执行效能。

关键词： 智能驾驶   目标检测   多传感器融合   深度学习  

摘要： 近年来,智能驾驶技术迅速发展,使该技术在增强道路安全性和出行效率方面发挥了积极的作用。环境感知是智能驾驶技术的重要组成部分,它直接影响智能驾驶系统的安全性和可靠性,而高质量融合多源传感器信息是提升感知能力的关键。故本文聚焦智能驾驶中的环境感知问题,对视觉与激光点云目标检测的算法优化以及多传感器融合目标检测算法进行深入研究,并进一步联合三维多目标跟踪技术,做了一套完整的基于融合的目标检测与多目标跟踪系统,并在公开真实场景数据集和自采集数据上进行了验证,提升了智能驾驶汽车在真实道路场景中的感知能力。主要研究如下: (1)基于视觉的目标检测算法设计:针对远距离、小尺寸目标的视觉检测精度较低问题,提出了一种基于改进YOLOv5s的轻量视觉检测算法。通过融合VMamba的SS2D模块以及Efficient VMamba的EVSS结构以及YOLOv5的C3模块,构建一种适合较低分辨率目标检测的网络结构;同时引入Unified-Io U损失函数,通过动态权重调整策略有效提高检测精度。在KITTI及自采数据集中,算法综合性能优于原始YOLOv5s与一些其它轻量目标检测模型。 (2)基于激光点云的目标检测算法设计:为提升低密度点云目标检测精度,提出一种重新设计的Point Pillars点云目标检测算法。该方法设计一个双通道特征编码结构,分别采用最大池化通道提取局部几何特征,利用平均池化通道捕捉点云全局分布特征,然后通过卷积网络实现双通道并行池化后的特征信息融合。此外,本文进一步利用Mobile Netv4重构了Point Pillars模型的骨干网络,有效降低模型的参数量和计算量,提升远距离目标检测的鲁棒性。 (3)视觉与激光点云融合目标检测算法设计与跟踪算法应用:针对传统视觉与激光雷达融合算法在复杂动态场景中融合精度不高、鲁棒性不足的问题,提出一种改进的视觉与激光雷达融合目标检测算法。通过引入目标面积比优化几何一致性判别,并设计残差融合网络,有效提升多传感器数据融合的准确性与稳定性。在此基础上,结合AB3DMOT三维多目标跟踪算法,进一步验证融合检测结果在跟踪任务中的有效性,提升多目标跟踪的准确性与鲁棒性,为智能驾驶系统提供更全面、可靠的感知信息支持。