关键词： 装配过程监测   无监督领域自适应   语义分割   目标检测  

摘要： 用户需求的多元化致使定制化产品在市场中的份额逐渐增长。定制化产品的装配工艺多变,生产过程中容易出现零件错装、漏装或装配顺序错误等问题,严重影响产品装配的质量和效率。随着深度学习技术的发展,基于计算机视觉的产品装配过程监测已成为趋势。然而,当前基于深度学习的装配过程监测方法大多采用有监督学习方式,需要按照装配体规格标注标签,费时费力。基于此,本文对无监督领域自适应技术展开研究,通过跨域特征对齐等策略,实现无标签数据语义分割和目标检测等计算机视觉任务的有效迁移,为机械体的装配过程监测提供技术参考,研究工作主要包括以下部分: (1)提出了基于装配体法向图的领域自适应语义分割方法,解决了在复杂工业环境中,纹理、光照等因素干扰数据图像采集进而影响装配监测质量的问题。该方法以法向图替代原有彩色图像作为模型输入,设计了包含对抗学习阶段和自训练阶段的无监督领域自适应语义分割框架。对抗学习阶段包含了语义分割特征提取模块和特征判别器模块,其中,语义分割特征提取模块引入了Transformer层和金字塔池化层(PPM),用于改善该阶段的特征提取能力;特征判别器模块用于对齐源域数据和目标域数据,使二者具有相似的特征分布。自训练阶段将微调对抗学习阶段训练模型,进一步优化小体积零件的边缘分割效果。 (2)提出了基于迭代循环策略的合成-物理装配体图像领域自适应语义分割方法,实现了从合成装配体到物理装配体的特征迁移任务。该方法同样采用了两阶段的训练方式,在对抗学习阶段,设计了可训练引导滤波模块和线条特征判别器模块,其中,可训练引导滤波模块以装配体图像、线条图和对应语义特征为输入,以数据驱动的方式优化传统引导滤波参数;线条特征判别器模块用于保持两种数据线条特征的相似性分布;两个模块在训练过程中迭代循环,不断提升线条特征提取能力,优化语义分割模型。在自训练阶段,依据装配体中零件分布特点,提出了利用对比学习处理低阈值伪标签的策略,进一步优化了对抗学习阶段训练模型,提升了装配体图像零件边缘分割质量。 (3)提出了基于图像分割大模型(Segment Anything Model,SAM)的装配体图像领域自适应语义分割方法,以进一步优化模型特征提取能力。该方法将SAM模型与无监督领域自适应框架相结合,借助SAM模型强大特征提取能力和即时交互能力,实现了无标签目标域数据的语义分割任务。针对目标域数据在SAM中的提示问题,设计了基于迭代循环策略的提示生成算法和斜框提示策略,使其能够自适应的提供SAM分割模型所需的提示点和提示框,解决了SAM提示方框中包含过多冗余零件的问题。最后,将线条特征判别器和可训练引导滤波模块引入SAM分割模型,以进一步提升装配体中零件边缘的分割质量。 (4)提出了基于双路径自适应裁剪混合策略的装配体图像领域自适应目标检测方法,实现了装配体连接件的装配监测任务。该方法首先将Mamaba与YOLOv5相结合并融合了集多种图像变换、浮雕化和增强参数多样化为一体的综合性图像数据增强方案,减少了源域数据和目标域数据之间的视觉差异。之后,改进传统图像裁剪混合策略,提出了双路径自适应图像裁剪混合策略并通过软硬损失的共同约束,解决了两种数据数量不均衡导致的训练特征偏斜问题和连接件在裁剪混合过程中的相互遮挡问题。 本文针对无监督领域自适应技术在装配体图像监测中所面临的光照、纹理等因素造成模型特征提取能力不足的问题,提出了包括以法向图为输入的两阶段领域自适应语义分割算法、线条特征迭代循环算法、大模型提示迭代循环算法和双路径自适应图像裁剪混合策略等创新性研究成果,解决了装配体源域数据和目标域数据之间的特征分布差异问题,为实现基于无标签物理装配体图像的装配过程监测提供了技术参考。

关键词： 目标检测   煤矿井下受限场景   YOLOv8n   感受野注意力卷积   高效多尺度注意力   可变形卷积   动态检测头  

摘要： 在煤矿井下受限场景中由于目标尺度变化复杂、目标部分被遮挡和有效特征提取困难，导致目标检测精度低。针对上述问题，提出一种基于改进YOLOv8n的煤矿井下受限场景目标检测算法。在主干特征提取网络采用感受野注意力卷积（RFAConv），更好地处理受限环境下的目标空间位置信息，并根据特征的重要性动态调整权重，从而更关注目标的关键特征；在颈部网络引入高效多尺度注意力（EMA）模块，融合不同尺度的特征信息，提高了对尺度变化目标的检测精度；将新型可变形卷积（DCNv3）与动态检测头（Dynamic Head）结合，通过将尺度感知注意力、空间感知注意力和任务感知注意力相统一，有助于模型关注空间尺度信息和适应不同的检测任务，提高了对多尺度目标和部分被遮挡目标的检测能力；引入考虑预测框权重分配的Unified-IOU(U-IOU)损失函数，通过动态调整在不同质量预测框上的关注度，使模型更专注于高质量预测框，提高模型的收敛速度和精度。实验结果表明，针对CUMT-BelT数据集，改进YOLOv8n在煤矿井下输送带异物检测中的mAP@0.5相较于YOLOv8n提高了5.6%；针对DsLMF数据集，改进YOLOv8n在不同综采工作面作业场景下的总体mAP@0.5相较于YOLOv8n提高了4.8%，有效减少了误检和重复检测的情况。

关键词： 双目视觉   机械臂   目标检测   YOLOv8   路径规划  

摘要： 作为我国重要的经济作物之一,苹果的产量、种植面积以及出口量均在全球占据领先地位。随着苹果种植规模的不断扩大、产量的持续增长以及采摘成本的日益增加,采用机械臂进行采摘作业以替代传统人工方式,不仅能有效提高果实采摘效率,还展现出巨大的开发潜力,为果农带来可观的经济收益。然而,在复杂的自然环境中,现有技术存在一定局限性,难以满足高效生产需求。因此,本文致力于构建苹果采摘平台,对双目视觉机械臂的目标检测、路径规划等多个方面深入研究。本文主要工作内容如下: (1)对复杂环境下机械臂抓取任务、视觉方案及夹持力范围分析。首先,通过需求分析对机械臂、相机和末端执行器进行选型,并将相机与末端执行器安装于机械臂合适位置;其次,研究相机模型及视觉标定方法,完成起始相机标定,获得相机内参矩阵和畸变系数,对采摘机械臂平台进行手眼标定,为机械臂执行抓取任务提供坐标数据,使机械臂通过视觉感知目标位置;最后,根据苹果物理特性,使用物性分析仪获得苹果果实最大、最小夹持力,使机械臂在不损伤苹果果实的前提下进行抓取。 (2)提出了一种YOLOv8-MobileCM目标检测算法。该方法通过在YOLOv8骨干网络基础上替换为Mobile Net V3轻量化网络,并在颈部网络添加GAM全局注意力机制,替换上采样模块,提高特征提取性能;此外,引入Focal-EIo ULoss损失函数,从而增强检测模型性能。实验表明,所提改进算法更加优越,检测精度提升4.5%,满足机械臂开展采摘任务所需检测精度。 (3)改进Bi-RRT路径规划算法,实现复杂环境下机械臂避障。首先,通过椭圆采样获得初始路径,加快收敛速度,使搜索路径生长具有导向性;其次,将固定步长优化为自适应步长,利用三角不等式剪枝策略对冗余节点进行剪枝缩短搜索路径长度,对搜索的最优路径进行三次B样条平滑处理,使机械臂路径更加平稳,以此保证轨迹规划的精度;最后,Move It使用改进路径规划算法,控制机械臂运动并实现轨迹规划。仿真比较实验表明,路径搜索时间由原始算法的0.935秒缩短到改进算法的0.326秒,机械臂各关节在进行规划运动时呈现平滑运行状态,提升机械臂开展采摘任务质量。 (4)搭建室内苹果采摘平台,进行空间定位及机械臂苹果采摘实验。在不同光照环境下进行苹果定位实验,目标定位误差控制在5.05mm误差之内,满足对实时检测的需求;开展室内机械臂采摘实验,采摘成功率达到92.59%,抓取单个苹果的平均时长为15.00s,实验中机械臂各关节无抖动且运动轨迹平稳,其满足室内实验任务需求。

关键词： 知识蒸馏   多模态图像融合   目标检测   遥感图像解译   注意力机制  

摘要： 遥感图像解译技术作为地理信息获取与空间认知的核心手段,在我国城市规划、环境监测、及国家安全等领域具有重要战略价值。然而,目前我国仍存在地面接收站分布受限,通信窗口较窄的问题,导致大量星载遥感图像不能及时回传地面而被丢弃。因此,需要在星载平台上部署高精度的轻量化遥感图像解译模型。 知识蒸馏是获取轻量化模型的关键技术,通过高精度但规模大的神经网络来提高轻量化模型的预测性能。那么如何训练出一个精度足够高的大规模神经网络,以及通过更加合适的知识蒸馏策略提高轻量化模型的训练效果是其中最为关键的两个问题。为了解决上述问题,本文开展了如下工作: (1)提出了一种基于多模态图像融合的目标检测算法。以全新设计的轻量级多尺度混合注意力机制GCFA为基础提出了一个多模态图像融合模块,用于更好地提取每个模态图像的特征。该注意力机制从CBAM以及CA注意力机制中获得灵感,将通道注意力以及空间注意力并行计算,并在计算过程中进行交叉,减少对卷积层的应用,从而在不大幅增加网络深度的同时提升图像信息提取的效果。多模态图像融合模块以GCFA为基础,在提取每个模态的图像信息之后进行融合,从而结合每种模态图像的优点,提升最终的检测效果。本文在VEDAI多模态小目标检测数据集上进行实验,结果表明本文提出的目标检测算法达到了更先进的性能。 (2)提出了一个基于掩码生成的特征蒸馏框架。蒸馏过程中首先将学生模型输出的特征图随机掩码,并使用以Swin Transformer为基础设计的特征生成器重新生成教师模型的特征图,最后使用MSE计算与教师模型特征图的距离作为蒸馏损失函数,让学生模型具有更强的表征能力。在此基础上,整个蒸馏框架在YOLOv5的backbone中的C3层进行特征蒸馏,并选择在激活函数前进行特征转移,以便学到教师模型特征图中更全面的信息。最终在VEDAI数据集上验证了所提出的特征蒸馏框架的可行性。 (3)开发了一个遥感图像目标检测系统。根据本文轻量化遥感图像目标检测模型的研究成果,设计了一个面向遥感图像的目标检测系统。

关键词： 深度学习   小样本学习   目标检测   对比学习   迁移学习  

摘要： 近年来,小样本目标检测因其对大规模标注数据依赖性低的优势,在医疗影像分析、遥感图像监测及工业缺陷检测等高标注成本应用场景中展现出巨大的应用潜力。该任务旨在利用少量标注样本(通常每类别1至30张图像)实现对新类目标的精确识别与定位。尽管现有方法,如基于元学习和迁移学习的策略,已在一定程度上提升了小样本检测性能,但样本稀缺导致的特征表达能力不足仍是制约其发展的核心瓶颈。尤其在中间层特征表示中,传统策略难以充分挖掘任务相关的判别性语义信息,导致模型在复杂背景或类间相似目标场景下出现识别模糊和泛化能力下降的问题。此外,如何有效强化模型对判别性区域的关注并抑制冗余干扰特征,也是提升检测精度的关键挑战。 针对上述挑战,本文提出一种分层动态自适应网络特征校准算法,旨在解决特征偏移问题。该算法通过引入多尺度分层结构实现图像的细粒度语义建模,并利用动态通道重标定机制实现中间层特征的自动校准与增强。该模块具有即插即用特性,可无缝嵌入主流目标检测框架,在保持模型轻量化的同时显著提升其对任务相关区域的敏感性。此外,本文引入的复合损失函数通过动态分配特征权重,进一步保障了模型在极少样本条件下的稳定学习能力。在PASCAL VOC和COCO等基准数据集上的实验结果表明,该方法相较于传统策略,检测精度提升了1.5%。 在此基础上,本文进一步提出基于两阶段特征分离与知识蒸馏的特征自适应增强算法,为了强化特征表达能力。该算法从特征建模层面设计显式分离机制,以有效区分任务相关信息与任务无关信息,从而抑制干扰区域并强化关键特征表达。通过结合局部增强模块与蒸馏引导策略,该网络能够在训练过程中动态聚焦高判别性语义区域,显著缓解了小样本条件下的特征退化问题。实验结果显示,在极端小样本情境下,该方法的检测精度最高提升2%。 为了增强模型信息捕捉能力,本文还继续探索了小样本目标检测与Trans-former架构融合。本文设计了针对小样本场景的Transformer模块,通过引入多头注意力、位置编码及双向特征融合,解决了传统方法在长距离依赖和全局信息捕捉上的不足。理论与实验证明了Transformer在该条件下的优劣势,为相关研究提供了一种思路。

关键词： 弹丸章动   尾翼稳定弹丸   双目视觉   图像处理   模板匹配  

摘要： 在靶场试验中,弹丸章动参数是描述弹丸在空间中运动状态的关键指标,对于深入研究弹丸飞行稳定性至关重要。由于迫击弹尾翼的独特特征,传统的无控旋转弹丸弹头弹尾识别方法会导致测量精度不足、测量效率低下等。针对以上问题本文基于双目视觉测试方法研究了尾翼稳定弹丸章动参数测试技术。 论文在深入探究视觉测量方法的基础上,设计了弹丸飞行姿态测试系统的总体方案,基于双目交汇测量原理构建出弹丸章动姿态解算模型。以靶场中实际拍摄到的迫击弹为对象,研究了尾翼稳定弹丸的检测与提取算法,针对图像中椒盐噪声多、图像边缘不清晰等问题,研究了高斯滤波、中值滤波、双边滤波等滤波算法对弹丸图像噪声的去除效果和弹丸图像边缘保留效果。针对图像整体偏暗、对比度不明显的问题,研究了全局、自适应、限制对比度等直方图均衡化算法对迫击弹图像质量的提升效果。针对弹丸视频中静态背景的特征,通过背景差分法提取到弹丸前景目标。接着通过闭运算填补了二值化后目标中的孔洞,消除了图像内部的噪声点,通过轮廓提取算法提取到了弹丸轮廓。接着,针对弹丸尾翼的形状特征,对比了不变矩阵和轮廓匹配等几种基于形状的模板匹配算法对弹尾的识别效果,针对弹丸尾翼的像素灰度特征,对比了SSD、NSSD、NCC等几种基于像素灰度值的模板匹配算法对弹丸弹尾识别效果,最终选取NCC进行弹尾识别。在识别到迫击弹弹尾的情况下,本文研究了基于弹丸轮廓特征和弹丸最小外接矩形的弹头提取方法,针对迫击弹炮口飞行特征,研究了弹丸出炮口阶段的空间散点坐标的拟合方法。最后,设计了弹丸章动测试软件,并进行了室外靶场测试试验。 本文所研究测试技术能够完成迫击弹弹头弹尾以及质心像素坐标的提取,弹丸弹头弹尾的平均识别成功率达到94.84%,实现了迫击弹丸空间章动角的测量,为新型弹药的动态稳定性评估提供了有效的测试手段,为弹丸飞行姿态监测领域提供了新的技术方案。

关键词： 多目标场景   机械手   目标检测   抓取姿态估计   抓取决策方法  

摘要： 在工业领域的人机协作系统中,稳定可靠的抓取能力是实现高效生产的关键基础。抓取检测算法的精度直接影响机械臂的操作安全性与任务成功率。然而,在非结构化复杂场景下,目标物体的姿态空间分布呈现高度无序特性,加之物体间密集堆叠产生的物理交互干扰,现有算法仍面临准确性与安全性不足的问题。本课题针对多目标场景下机器人抓取姿态估计的准确性与安全性难题,提出基于深度神经网络的多目标抓取姿态估计方法,以实现关键技术突破。核心研究内容包括: (1)提出了多目标场景下的抓取姿态估计方法,构建多目标场景下的求解框架,概述了本课题后续算法部署所依赖的相关硬件设备。对UR5机械臂进行机器人正逆运动学分析并介绍了Jetson Nano边缘部署设备。对相机的彩色和深度的物理成像机制进行建模分析,推导了图像坐标系至世界坐标系的几何变换关系,并获得深度相机的固有参数矩阵。在抓取检测模块中对抓取预测的二维表示方式进行了研究,基于机器人基座标系与图像坐标系间转换矩阵,实现了二维检测结果到三维抓取姿态的几何空间映射。 (2)针对多目标复杂场景下传统检测算法存在的定位偏差问题,提出基于旋转边界框的预测方法,通过调整检测框几何表征形式抑制环境干扰因素。结合轻量化幻影卷积结构与感受野注意力机制构建网络,在降低模型计算负荷的同时增强多尺度特征表达能力。通过自建复杂平面场景数据集训练目标检测网络,实现对上层无遮挡目标的优先识别。测试结果显示改进后的模型在多物体顶层无遮挡的检测精度可达91.3%,可以满足实时检测需求并且具备跨场景迁移能力。 (3)针对机器人抓取姿态估计中的抓取姿态估计准确性不足的问题,提出基于生成抓取卷积网络(Generative Grasping CNN,GGCNN)的改进型IWGNet(Inception-WFF-GGCNN)架构。通过构建深度特征提取结构与自适应特征融合机制,在继承GGCNN框架优势的基础上实现两项关键创新:首先采用Inception模块加深网络,增强空间特征表达能力,其次设计权重自适应的跨层级特征融合路径,有效提升抓取位姿预测的稳定性。为验证方法有效性,在康奈尔抓取数据集上进行基准测试,实验结果表明该网络在图像级评估中达到88.02%的检测准确率,较原始GGCNN方法在抓取准确性方面表现出显著提升。 (4)针对多目标抓取场景中优先级决策与执行稳定性的问题,提出基于感知的抓取规划策略。综合考虑抓取物体的深度和稳定性,建立权重评估机制。在此基础上,通过基于ROS通信框架机器人抓取仿真测试平台来完成方法验证,结果表明在5/7/10零件工况下平均抓取成功率达92.7%,表明该方法在多零件环境中具有稳定执行效能。