关键词： 目标检测   预训练   域自适应   多波段联合  

摘要： 目标检测作为计算机视觉的核心任务,在自动驾驶、安防监控等领域具有重要应用价值。然而,传统基于可见光图像的检测方法受限于成像机制,在低光照、极端天气(如雾霾、雨雪)等复杂环境下性能明显退化,难以满足全天候感知的实际需求。为提升感知鲁棒性,融合可见光与红外图像的多波段目标检测方法逐渐受到关注。近年来,该方向取得一定进展,但现有研究多采用“可见光预训练—双波段微调”的范式,仍面临两大瓶颈:(1)微调阶段中跨波段知识迁移存在表征断层,红外分支缺乏有效的跨波段泛化能力,难以突破可见光表征空间的波段偏见;(2)当前方法基于静态联合推理架构,难以适应实际部署中图像波段缺失的动态感知需求。 为了解决上述瓶颈问题,本文提出一套“域泛化预训练—域自适应—联合微调”的三阶段多波段目标检测框架,基于无监督预训练和跨域自适应机制,逐步提升红外分支的泛化能力,引入具备动态感知能力的多波段联合检测方法,应对图像对齐误差与波段缺失问题。具体包括: (1)域泛化预训练阶段:针对标注缺失下红外预训练模型无监督训练难题,提出基于可见光预训练模型迁移的解决思路,构建基于集合预测的红外无监督预训练方法。具体地,构建了可见光-红外时空一致数据集,提出了基于自训练范式的可见光-红外多波段预训练框架和可见光-红外协同伪标注生成方法,实现已有可见光预训练模型驱动下的红外预训练模型高效构建方法。 (2)域自适应阶段:针对可见光到红外跨域的域偏差问题,提出基于红外数据自增广的半监督跨域自适应方法。具体地,提出基于潜在扩散模型的自解耦增广模块,实现红外目标域样本多样性扩充,有效缓解红外目标域数据分布单一的问题;构建基于平均教师机制的知识蒸馏框架,在无需访问源域数据的前提下,通过可见光源域预训练教师模型引导学生模型的预测一致性,实现可见光到红外的渐进式知识迁移。 (3)联合微调阶段:针对多波段图像波段缺失问题,提出基于动态路由机制的全监督多波段联合目标检测方法。具体地,构建基于对齐感知先验的动态多波段联合目标检测方法;提出跨波段多层级融合模块,实现多波段图像的高效特征融合互补;引入“单波段预训练-多波段微调”的两阶段训练策略,结合动态路由决策机制,使模型在波段缺失情况下仍能保持高质量的检测性能。

关键词： Yolov5网络   目标检测   图像配准   采摘点定位   点云  

摘要： 视觉系统的研发既是葡萄采摘机器人实现智能化采摘的研究重点,也是难点之一。针对前人研究葡萄采摘机器人视觉系统时,存在葡萄检测准确率与查全率偏低、采摘点定位准确率偏低、模型结构复杂的问题,本文研究葡萄检测模型的优化设计、基于图像及三维点云的采摘点定位方法。本文主要研究工作如下: (1)提出了一种基于改进的Yolov5网络的葡萄及果柄检测方法,该方法为Yolov5网络引入了坐标注意力机制(Coordinate Attention,CA)。CA机制能够在一定程度上强化网络对特征图上远距离信息的关联能力,从而提高Yolov5网络对被检测葡萄及果柄区域的关注度。使用CERTH数据集和Embrapa WGISD数据集对本文方法进行验证。通过旋转、亮度、对比度和模糊调节方式进行数据增强后,完成改进前后两种网络的训练与性能分析。实验表明,改进后的网络相比Yolov5网络而言,对葡萄和果柄检测的总体平均精度、召回率依次提升了1.0%和2.1%。 (2)提出了一种基于RGB图像和Depth图像配准的葡萄果柄处采摘点的空间定位方法。首先,对葡萄果柄区域进行K均值聚类,再由形态学算法处理后,确定出采摘点的像素坐标。然后,利用图像配准所得采摘点的深度值,结合相机成像坐标转换模型,进而获得采摘点的空间坐标。经实验测试,在1m的采摘距离内,平均定位准确率约为83.3%。 (3)提出了一种基于RGB图像及三维点云相结合的葡萄果柄处采摘点的空间定位方法。首先,通过目标检测网络检测葡萄束,再将检测框内的像素映射为点云,并由欧式聚类分割出葡萄区域。然后,通过构建葡萄点云的有向包围盒(Oriented Bounding Box,OBB),利用OBB截切法与阈值限制获取葡萄的果柄区域。最后,由中心点确定果柄区域内的采摘点坐标。经实验测试,在1m的采摘距离内,此方法的定位准确率为90%。

关键词： 辣椒   采摘   目标检测   双目视觉  

摘要： 辣椒作为我国种植面积最大的蔬菜作物之一,具有极高的经济效益,目前辣椒采摘仍然依赖传统人工采摘,人工采摘工作效率低,劳动强度大,并且随着城镇化进程的加快,农业劳动力持续减少,人工采摘的成本不断上升,亟需对辣椒的自动化采摘开展研究。 本文以田间辣椒为研究对象,基于深度学习和双目视觉定位对辣椒识别和采摘技术开展了深入研究,主要研究内容如下: 1.提出一种改进YOLOv8s的辣椒识别算法。首先采集辣椒图像并进行标注,构建了高质量的辣椒数据,接着针对辣椒识别任务中的枝叶遮挡和密集重叠的问题,在YOLOv8s模型的Neck部位,加入SEAM注意力机制,提升模型对遮挡辣椒的检测能力;使用Varifocal损失函数实现更高效的样本加权机制,让模型更关注高质量的正样本;在后处理中使用Soft-NMS保留更多高质量的预测框,减少辣椒因密集重叠漏检而漏检的概率。实验结果表明,本文改进后的模型m AP相比原模型提高了4.4%,在密集遮挡辣椒检测任务中具有较高的检测精度。 2.基于Real Sense D415深度相机建立了辣椒定位系统。首先通过张友正标定法对D415进行标定,计算相机内参。并将相机固定在机械臂一侧进行手在眼外标定,计算出手眼矩阵。进行定位实验,综合平均误差是3.97 mm,满足采摘需求,最后计算辣椒偏转角度,辅助末端执行器更好的完成采摘。 3.辣椒采摘系统搭建和采摘实验。搭建辣椒采摘系统和设计软件操作界面,在模拟辣椒采摘场景中进行采摘实验,最终的辣椒识别率达到91.4%,采摘成功率达到81.3%,本文提出的辣椒采摘系统可以准确识别和采摘辣椒。

关键词： 可见光定位   路径规划   图像处理   生成对抗网络   残差卷积网络  

摘要： 随着科技的发展,定位服务在生活中变得越来越重要。特别是在室内,高精度定位不仅能提升工作效率,还能保障人员安全、优化资源管理。传统的室内定位方法,比如,基于Wi Fi或蓝牙的定位方法,在精度、成本和稳定性上还有不少局限。而可见光定位技术因为精度高、成本低、抗干扰能力强,逐渐成为研究热点。本文提出了一种基于残差卷积神经网络的室内可见光视觉定位方法,构建了由LED光源与CMOS图像传感器组成的定位系统。结合路径规划技术,该系统可在复杂室内环境中实现高效且精准的定位与导航。主要研究内容如下: 第一,针对定位过程中常见的图像溢出效应和遮挡引起的信息丢失问题,提出基于最大灰度值的图像遮挡恢复方法,并结合自适应伽马校正算法进行亮度均衡优化。该方法通过精确提取图像中最亮的像素点并进行信息补偿,同时动态调节图像区域亮度分布,从而有效提升系统的解码准确性和抗干扰能力。实验结果表明,在图像传感器距离灯1.9m范围内的解码准确率达到90%,大幅提高系统的稳定性。 第二,传统的指纹定位方法需要采集大量数据,耗时长、效率低。为了解决这个问题,本文引入生成对抗网络,通过生成器和判别器的对抗训练,合成与真实指纹数据分布相似的伪指纹数据,从而扩充了数据库,提高系统的适应性和泛化能力。此外,设计一种基于残差卷积网络的神经网络模型,利用残差模块和跳跃连接,有效避免了深层网络的梯度消失问题,使模型训练更加稳定。实验结果表明,该模型的平均定位误差仅为9.7cm,最大误差为18.79cm,定位时间为0.31s。 第三,针对传统Dijkstra路径规划方法存在的冗余节点和计算量大的问题,本文提出一种基于共线性判断的路径优化方法,显著提升路径平滑性。为满足复杂环境中的实时响应需求,本文进一步提出基于残差卷积网络的路径规划方法,通过离线训练学习环境状态与最优路径映射,实现快速路径生成。实验表明,该方法在室内环境中成功率达90%,平均规划时间为0.6s,满足实时导航需求。此外,开发了集成可见光定位与路径规划的室内导航系统,搭建基于Flask的后端服务,并开发Android端应用。系统具备高精度定位与高效路径规划能力,具有良好应用前景。

关键词： DETR算法   开放词汇目标检测   实时目标检测   多尺度目标检测  

摘要： 高精度目标检测算法作为智能驾驶环境感知系统的核心模块,其目的是对动态复杂交通环境中的车辆、行人及障碍物进行精准识别与定位,以确保行车安全并提升系统可靠性。该技术在优化交通效率、降低事故风险以及促进交通系统的智能化发展等方面具有重要作用。然而,现有基于深度学习的目标检测算法在实际道路场景中应用时仍面临开放场景下泛化能力不足、实时检测效率受限以及小目标漏检误检等问题。针对上述问题,本文进行了以下工作: 1.面向智能驾驶动态复杂场景中的未知类别物体检测需求,针对传统目标检测算法因训练数据封闭性导致的未知类别泛化能力受限问题,本文提出多模态融合智能驾驶开放词汇目标检测(Multimodal Fusion-Based Open-Vocabulary Object Detection for Intelligent Driving,MFOVOD)算法。该算法采用DETR(DEtection TRansformer)架构消除区域提议网络对基类目标的偏向性,通过构建自适应多模态融合模块缓解CLIP视觉编码器全局特征与检测任务区域特征的分布偏差,并设计双分支类别感知策略实现文本语义与视觉特征的联合优化。实验结果表明,该算法增强了模型对于未知类别目标的识别能力。 2.面向智能驾驶实时目标检测场景中的低延迟需求,针对现有DETR模型因密集注意力机制计算导致的推理效率瓶颈问题,本文提出多尺度特征交互实时智能驾驶道路目标检测(Multi-Scale Feature Interaction-Based Real-Time Road Object Detection for Intelligent Driving,MSFI-RTOD)算法。该算法设计多尺度特征交互模块重构编码器结构,降低编码器计算开销,同时构建了稀疏采样交叉注意力机制,动态分配多尺度特征图采样密度。实验结果表明,该算法在保持检测精度的同时,显著提升了模型的推理速度。 3.面向智能驾驶场景中对多尺度目标的高精度检测需求,针对现有DETR模型因全局注意力分散导致小目标漏误检的问题,本文提出约束解码器多尺度智能驾驶道路目标检测(Multi-Scale Road Object Detection for Intelligent Driving with Constraint-based Decoder,MSROD)算法。该算法通过构建约束解码器结构,建立以对象为中心的注意力约束机制,强化模型对小目标空间分布的聚焦能力,同时设计内容感知可变形交叉注意力增强注意力对细节语义信息的感知。实验结果表明,该算法有效提升了模型多尺度目标检测精度,增强了模型的环境感知性能。

关键词： 目标检测   光学遥感图像   YOLO   注意力机制  

摘要： 光学遥感图像的目标检测是一项重要的研究内容,近年来深度学习快速发展,基于深度学习的光学遥感图像检测方法被广泛应用。然而,因光学遥感图像有着背景复杂、方向多变、形状不一等检测难点,现有检测方法普遍面临检测准确率不足、漏检现象严重等技术瓶颈。同时,现有深度学习模型普遍存在结构复杂、计算资源消耗大等问题,达不到实时检测的要求。 针对上述问题,本文的主要工作内容如下: (1)针对光学遥感图像水平框目标检测中尺度变化大、场景信息复杂、小目标特征信息少等导致的检测精度较低,以及当前目标检测模型参数量大,复杂性高导致的检测效率低的问题,提出了一种改进的YOLOv7-tiny水平目标检测算法。首先,设计金字塔网络结构(Tiny-Bi FPN),以更好地平衡不同尺度的特征信息及捕获全局上下文信息;其次,在预测时采用一种结合注意力机制的动态预测头(DyHead),提高目标检测头的性能;随后,提出一种新的损失函数(NWD-MPDIo U)来优化原模型的损失函数,增强对小目标检测的鲁棒性;最后,使用分组空间卷积(GSConv)和Vo V-GSCSP模块改进网络颈部,在保持足够检测精度的同时减少模型的计算量和网络结构的复杂性。 (2)为了解决光学遥感图像旋转框目标检测中目标方向任意、长宽比失衡、角度突变等导致的旋转框定位不精细的问题,在YOLOv8n的基础上提出了CST-YOLOv8n旋转目标检测算法。首先,利用环形平滑标签技术,规避角度回归的周期性带来的角度突变问题;其次,设计一个单独的分支来提取角度特征,并重新定义模型的损失函数;随后,在骨干网络中加入基于相似度的注意力机制(Sim AM),使得模型能够提取更多有效特征;最后,设计任务动态对齐检测头(TDADH)增强模型对旋转目标的检测性能和泛化能力。 对于水平框目标检测,所提算法的参数量为5.4M,在DIOR数据集和RSOD数据集的m AP@50分别达到87.5%和94.7%,精度较基准模型分别提高了2.5个百分点和5.1个百分点,参数量下降了0.7M。实验表明该算法能够有效提高检测的精度和实时性。对于旋转框目标检测,CST-YOLOv8n在DOTA数据集上的m AP@50为80.1%、参数量为2.3M,相比于YOLOv8n在精度上提升了1.5个百分点,参数量下降了0.8M。实验表明CST-YOLOv8n有效地提高了检测效率和检测精度。