关键词： 多规格化纤丝饼   目标检测   缺陷检测   工业设计  

摘要： 随着化纤行业智能制造水平的不断提升,丝饼作为化学纤维产品的主要成品形态,其外观质量检测环节已成为制约产线自动化水平进一步升级的瓶颈。特别是在多种规格丝饼(包括不同颜色、直径和厚度)混合生产的流水线工况下,现有的单一规格外观缺陷检测系统在适应性方面存在明显不足。 针对这一问题,本文围绕“多规格丝饼外观缺陷检测系统设计”开展了系统性研究,提出了一套具有丝饼规格自适应能力、模块化结构布局和两阶段丝饼检测算法的高可靠性系统,以应对复杂工况下的多规格丝饼缺陷识别与品质评估任务。具体研究工作如下: (1)基于机器视觉技术与称重传感器,开发了具备颜色、尺寸与重量识别能力的多规格丝饼参数识别系统,实现了丝饼规格特征的准确提取与识别,为后续采集与检测流程提供了关键前置信息。 (2)针对多规格丝饼在颜色和厚度方面的变化,设计了一套自适应的机器视觉采集系统。其包含错位布置的采集阵列、可变颜色背景板及可控相机位移机构,能够根据前序识别结果动态调整采集参数,从而保障不同规格丝饼图像的清晰度与一致性。 (3)在检测算法方面,本文提出了一种解耦式的两阶段检测框架。第一阶段基于RT-DETR模型,构建了增强特征交互能力的EFFI-DETR目标检测网络,在平均检测精度上相比原模型提升了3.6%。第二阶段针对丝饼品质等级分类任务,提出了基于缺陷框从二维像素空间映射至三维归一化空间的特征编码方法,并结合多层感知机(MLP)实现了高精度的丝饼等级分类,分类准确率达到95%以上。 (4)最后本研究完成了系统样机的制作,并搭建了系统集成验证平台,对关键单元如称重模块、自适应视觉采集系统进行了功能测试。测试结果表明,各模块均具备良好的性能表现,系统整体运行稳定可靠,验证了本研究方案的工程实用性与可推广性,为后续在实际化纤产线中的应用奠定了良好基础。

关键词： YOLOv8   小目标   遮挡目标   特征指导   特征融合  

摘要： 为提升交通场景下对小目标和遮挡目标的检测精度，在YOLOv8的基础上提出一种特征指导与融合的车辆目标检测算法FFS-YOLO。首先，设计特征指导模块（FGM），利用并行结构从宽度和高度解耦关键信息，指导深层语义特征。然后构造特征融合模块（FFM），通过扩大感受野和整合不同尺度的特征信息，弥补高分辨率特征图在上下文信息表达上的不足，提高交通场景中小目标和遮挡目标的检测精度。最后采用损失函数（SMPDIoU），综合考虑预测框和真实框之间重叠区域和非重叠区域的中心点距离、宽度和高度的偏差，有效解决在重叠度为零时梯度消失的问题。实验结果表明，FFS-YOLO算法在KITTI数据集和SODA10M数据集上的平均精度均值（mAP）分别较YOLOv8提高1.53%和1.06%。

关键词： 深度学习   目标检测   RT-DETR   群养猪只   猪行为识别  

摘要： 猪只养殖是农业领域的一个关键环节,生猪作为农业生产中的核心动物,其养殖不仅能够为农民带来可观的经济收益,而且对农业经济的稳定发展具有重要意义。在生猪养殖的过程中,猪只的健康状况与其行为有着密切的联系,及时监测猪只行为,可以揭示其健康状态以及对猪舍环境的适应程度,从而预防疾病,提高产肉率。目前,猪只养殖业在检测猪只行为时,仍普遍依赖人工观察,存在依赖人力、效率低下、漏检、误检等问题。针对以上问题,该研究以群养猪只行为识别作为研究对象,以深度学习技术为基础,开展基于改进的RT-DETR群养猪行为识别系统的研究,实现对群养环境中猪只行为的快速且精确的识别,显著减少对人工干预的依赖和相关成本。研究的主要内容为以下三个主要方面: (1)构建群养猪只行为数据集。收集6段不同时间、不同光照、具有代表性的群养猪只视频数据,并对视频进行裁切、分类等预处理操作。通过对图片进行标注、数据增强方法,构建出一个含有站立、躺卧、进食、饮水、探嗅五种代表性的行为标注的7200张图片的数据集。 (2)提出一种RT-DETR模型的改进方法。在主干网络中,使用部分卷积核代替相关结构,有效减少模型计算冗余,在不影响模型准确率的同时降低模型复杂度。同时引入双向路由注意力机制使模型获取更多有效特征信息,从而提高模型的准确率。在高效混合编码器中,使用GSConv卷积层代替相关特征融合结构,使模型能更好地保留关键特征。其次,为了解决实际环境中遇到的猪只行为识别数据量小导致模型识别准确率低的问题,构建基于迁移学习的群养猪只行为识别方法。使用大规模源数据集对源模型进行预训练,得到模型参数迁移至群养猪只行为识别模型中,从而提升模型在群养猪只行为数据集上的检测性能。改进的模型在猪只识别数据集上m AP@50达到87.5%,相较于原模型提高2.4%,模型参数量减少51%。 (3)构建群养猪只行为识别系统。基于改进的模型,设计并实现群养猪只行为识别系统。系统能够有效应对猪舍环境复杂、目标猪只拥挤等问题,实现高精度的猪只行为识别。系统通过实时视频监测,能够自动识别猪只行为,为养猪业提供重要的管理依据。

关键词： 可见光-红外图像   图像融合   目标检测   特征解耦  

摘要： 在多模态图像融合领域,面向下游任务的图像融合方法备受关注。检测驱动的图像融合方法关注如何更加有效地利用隐含互补信息的模态差异来提升检测任务的性能,研究融合网络与检测网络级联的系统。这种任务导向型的融合范式构建了端到端的检测驱动型融合架构。传统方法通常以常见图像质量评价指标作为网络学习的优化目标,而检测驱动的融合方法则通过建立检测损失反馈机制,使融合过程直接服务于目标定位与分类的核心需求,在特征空间实现模态互补信息的最优重组。 本文针对多模态图像融合领域提出了一种检测驱动的图像融合方法,利用部分信息分解理论,将多模态的信息进一步分解成冗余信息、独特信息和协同信息,并通过对协同信息的处理提高目标检测任务的性能。 首先,设计了一种基于变分自编码器的RGB-T图像融合网络。该网络将模态信息分解为冗余信息和独特信息,并进行RGB-T图像融合。在RGB-T数据集上从定性和定量两个角度分别与先进的图像融合方法进行了比较,其中SSIM指标为最优,验证了该网络的有效性。 其次,利用部分信息分解理论及估计算法,针对常见的RGB-T目标检测数据集进行了部分信息分解统计量估计,并对结果进行了分析。通过实验验证了多模态互补性在复杂任务中的重要性,也为后续图像融合与目标检测多任务网络的设计提供了指导。 最后,提出了一种检测驱动的RGB-T多模态图像融合优化框架,通过构建串行式网络架构实现图像融合与目标检测任务的协同优化。该框架采用分阶段处理流程:首先通过改进的变分自编码器进行跨模态特征解耦与融合,随后将生成的融合图像输入目标检测网络进行联合训练,形成检测反馈驱动的闭环优化系统。在RGB-T多类别目标检测数据集上,该方法在m AP@0.5（M3FD:86.8,MSRS:92.5,Multi-spectral Object Detection:60.7）上优于其他现有方法,并在消融实验中验证了各设计的有效性。

关键词： 目标检测   DETR   最优传输   跨阶段匹配  

摘要： 在计算机视觉领域,目标检测是一项至关重要的任务,主要用于定位图像中各个物体并识别其所属类别。自从DETR(Detection Transformer)模型的提出以来,基于Transformer的目标检测器取得了显著进展。然而,一些基于DETR的检测器,如AdaMixer和Sparse-RCNN,由于其复杂的头部结构,存在训练时间较长和对小物体检测精度不足的问题。针对上述挑战,本文提出了两种基于单解码器层的目标检测器,旨在提升检测精度和速度,特别是在处理小目标和复杂场景时的能力。具体贡献如下: (1)最优传输解码器(OTD):本文创新性提出了一种解码器架构,使用补丁作为基本预测单元,避免了传统DETR中采用特征金字塔结构的复杂性。OTD引入了显式特征金字塔结构,位于骨干网络和解码器之间,在不增加计算复杂度的情况下增强了多尺度图像表示。通过最优传输方法对框分布进行对齐,设计了计算模型损失的方法,使其能够朝着全局最优解收敛,即使在处理复杂场景和小目标检测时也能保持高效。实验结果表明,OTD在性能上超过了现有的相关检测器。 (2)跨阶段匹配检测器(Tran Interaction):本文提出了一种基于查询的跨阶段匹配检测器,在前向传播过程中,该方法通过复用动态算子并引入轻量级适配器来增强模型的建模能力。在标签分配方面,设计了一个跨阶段标签分配器,旨在改进传统的一对一标签分配策略。通过该分配器,训练目标类别标签在各阶段之间进行收集,并重新分配到适当的预测上。此外,结合使用一对一和一对多监督,在候选生成期间提供清晰的监督,从而提高模型的训练效率。实验结果表明,Tran Interaction在性能上优于现有的相关检测器。 综上所述,本文提出的两种基于单解码器层的目标检测器,在提升检测精度和速度方面取得了显著进展,特别是在处理小目标和复杂场景时表现出色。这些研究成果对目标检测领域具有重要意义。

关键词： 遥感影像   轻量化   目标检测   注意力机制   YOLO v7  

摘要： 针对背景复杂、目标尺度差异性大且分布不均的高分辨率遥感影像，现有算法无法同时兼顾检测精度与检测速度等问题，以YOLO v7为基础提出了一种局部—全局检测器（Local-Global Detector, LGDet）的轻量化目标检测网络。首先，采用部分卷积（Partial Convolution, PConv）对其主干和颈部网络进行压缩，减少模型的参数量与运算量；其次，设计了快速傅里叶联合部分卷积模块，构建了局部和全局感受野结合的轻量化特征提取网络；最后，提出了一种轻量化三元注意力模块，增强了有用特征。在RSOD和NWPU VHR-10数据集上进行了实验，本算法的mAP分别为93.4%和90.5%,FLOPs为87.9 G，与YOLO v7相比mAP分别提高了2.8%和2.3%,FLOPs减少17.3 G。结果表明本算法在计算复杂度更低的情况下具有更优异的遥感影像目标检测精度。

关键词： 3D目标检测   多传感器   多模态融合   自动驾驶  

摘要： 近年来,随着深度学习的快速发展,越来越多领域都应用了3D目标检测技术,比如自动驾驶、遥感测绘、机器人导航等。除了基于单模态的检测技术,还出现了一些多传感器融合的检测方法。其中,摄像机和激光雷达是常用的两种传感器。摄像机提供的图像具有丰富的颜色和纹理信息,易于对目标进行检测分类,同时摄像机还具有成本低的优点,但缺点是容易受到光照强度影响,并且缺乏深度信息。激光雷达提供的点云包含精确的深度信息和几何特征,但缺少语义信息且价格昂贵。由此看来,这两种数据之间具有高度互补性,因此基于多模态融合的目标检测方法应运而生。本文同样采用多传感器融合方法,将3D点云精确的空间信息和2D图像稠密的像素信息优势互补,获取更全面、鲁棒的行驶环境信息。除此之外,考虑到点云数据的采集效果,本文提出了一种新的基于前景分数加权的采样算法,基于上述两方面的改进来提升3D目标检测的性能,满足自动驾驶系统对可靠性、精准度的需求。本文的主要工作如下: 1.针对各模态数据融合不充分的问题,提出了一种新的融合方法,该方法不仅继承了已有的用图像信息补全点云特征的策略,并且在此策略上提出了另外一种数据互补的可能性,即用点云信息补全图像特征。所提出的融合模块集合了上述两种方法,旨在让两种不同模态数据可以实现更加充分、完整的融合。网络中点云分支的输入经此融合模块输出二维图像特征,图像分支的输入经此融合模块输出三维点云特征,把得到的两种特征与原始特征拼接再传回下一级输入网络,最终得到融合后的多模态特征。在检测阶段,采用两阶段目标检测方法,第一阶段首先对输入特征生成一系列候选区域,第二阶段对第一阶段生成的每个候选区域进行更精确的边界框回归和对象类别预测。最后在KITTI公开数据集上进行了充分的对比实验和消融实验,实验结果显示m AP相比以往算法提升了1.74%,有力地证明了提出的融合方法能够显著提升三维目标检测的精度。 2.针对点云采样过程中需要平衡前景点和背景点的问题,提出了一种基于前景分数加权的采样方法P-FPS,该采样方法基于最远点采样FPS进行改进,首先用一个由2层mlp组成的轻量级结构对输入点进行前景分离,通过这一步骤得到各点的前景分数,用该分数对点与点之间的欧氏距离进行加权,这一方法的目的是为了在采样过程中优先关注前景点,但如果在采样过程中只关注前景点,会导致过多背景点信息被摒弃,进而限制了感受野的扩大。因此,引入一个新的权重因子β来控制前景点与背景点之间的平衡。将该采样方法分别引入Point RCNN模型与本文第三章提出的TW-Net模型中,在KITTI数据集上的实验结果显示m AP分别提升了0.44%和0.39%,证明了该采样方法的有效性。

关键词： 高效目标检测   航空图像   注意力机制   卷积神经网络  

摘要： 针对航空图像目标检测中普遍存在的图像尺寸过大、目标密集分布等关键难题，本文开创性地引入了目标图像块激活策略，不仅解决了传统方法在处理航空图像时效率低下的问题，而且显著提升了复杂场景下的精度表现，对推动航空图像目标检测技术的发展具有重要意义。现有的航空图像目标检测技术通过简单裁切图像块的方式进行处理，不仅效率低下，还因大量无效图像块的检测导致资源浪费与误检率上升。因此，本文提出了一种目标图像块激活模块（TIBAM），该模块通过引入卷积注意力机制，使检测器能够专注于包含目标物的有效图像块，从而减少在无效图像块上的资源浪费，实现了对潜在有效图像块的智能识别与处理。TIBAM的引入，为检测器带来了超过17%的推理速度提升，还实现了检测精度的稳定提升，为高效、精准的航空图像目标检测提供了创新性的解决方案。本文通过在主流的一阶段检测器Retinanet和两阶段检测器Faster-RCNN中集成TIBAM模块，以及在Visdrone航空图像数据集上进行验证，充分展示了该模块的实际应用价值与广泛适用性。