关键词： 小样本目标检测   多尺度特征融合   注意力机制   迁移学习  

摘要： 近年来,目标检测技术在计算机视觉领域取得了显著进展,并广泛应用于自动驾驶、安防监控和医学影像分析等场景。然而,现有的深度学习目标检测方法通常依赖大规模标注数据进行训练,在数据有限的情况下,模型容易出现过拟合,难以泛化到新类别。小样本目标检测(Few-shot Object Detection,FSOD)旨在缓解标注数据稀缺的问题,使模型能够在极少量的样本下仍然具备良好的检测能力。然而,当前方法仍然面临着模型泛化能力不足、特征表达不充分、多尺度信息利用不充分等挑战。 针对上述问题,本文提出了一种结合三重注意力机制、ROI特征解耦的小样本目标检测方法。首先,为了提高模型对目标区域的关注度,本文引入三重注意力机制(Triplet Attention),通过跨维度信息交互增强模型对关键区域的感知能力,并在其基础上进行优化,采用Haar小波变换替代传统池化操作,以减少特征信息丢失,提高注意力权重的计算精度。其次,传统目标检测方法通常采用共享的ROI特征来同时优化分类和回归任务,这可能导致优化目标冲突,影响检测精度。本文提出ROI特征解耦模块,将ROI特征分别用于分类和回归,使分类任务专注于高层语义信息,而回归任务更关注目标的边界信息,从而提升检测性能。 此外,为了解决现有方法在多尺度目标检测中的不足,本文提出了一种SENet FPN多尺度特征融合方法。传统FPN结构在特征融合时可能导致信息损失,影响小目标检测效果。本文在FPN的基础上引入SENet通道注意力机制,使不同尺度的特征信息融合更加充分,从而提高模型对不同大小目标的检测能力。最后针对原型网络在小样本学习中的局限性,本文设计了一种动态原型特征融合PFN模块,通过耦合查询图像与支持集图像的信息,动态生成更具判别力的类原型,使得模型能够更精准地进行分类。 为验证本文方法的效果,在PASCAL VOC和MS COCO数据集上进行了实验验证,结果表明,所提出的方法在小样本目标检测任务中优于现有方法,尤其在新类别目标检测精度方面取得了显著提升,对于PASCAL VOC数据集,本文的方法在1-shot时最高将AP50提高了9.3%,在3-shot时提高了7.7%。通过消融实验进一步验证了三重注意力机制、多尺度特征融合等模块对检测性能的影响。相比于传统方法,本文的方法能够在有限数据条件下更有效地提取目标特征,并提高模型的泛化能力,在计算机视觉领域的小样本学习任务中具有重要的理论价值和实际应用意义。

关键词： 遥感图像目标检测   YOLO   注意力机制   特征融合   知识蒸馏  

摘要： 遥感图像目标检测在环境监测、国防安全与灾害预警等领域具有重要应用价值。然而,由于遥感图像普遍存在复杂背景干扰、目标多尺度差异明显、方向任意分布以及小目标密集排列等特性,现有通用目标检测算法难以实现检测精度、轻量化部署以及实时性需求之间的平衡。基于上述问题,本文围绕遥感图像水平与旋转目标检测任务的难点,对基于YOLOv8的轻量化检测算法展开研究,主要工作内容如下: (1)针对遥感图像水平目标检测任务中的复杂背景下小目标特征易丢失及多尺度特征融合效率低的问题,提出基于注意力特征融合的遥感图像水平目标检测算法(YOLO-MBF)。首先,该算法通过设计基于多头自注意力机制和通道注意力机制的多尺度变压器特征提取模块(Cross Stage Partial＿Multiscale Transformer Block,CSP＿MTB),增强模型对全局上下文信息的感知能力;此外,使用自适应大核选择注意力机制(Large Selective Kernel attention,LSK-attention)动态调整特征提取网络的感受野来引导模型训练,加强模型对不同目标所需的空间背景上下文信息差异的关注;最后,构建了一个轻量级的多分支特征加权金字塔网络(Efficient Multi-Branch-Bi-directional Feature Pyramid Network,EMBFPN),以增加多尺度特征之间的交互从而改善模型对不同层级特征的有效融合。在NWPU VHR-10数据集上的实验结果表明,YOLO-MBF较基线模型在参数量减少32%,每秒检测帧数提高8%的情况下,取得了2.9个百分点的m AP提升。 (2)针对旋转目标边界模糊与定位偏差问题,提出基于边缘信息增强和任务动态对齐的旋转目标检测算法(YOLO-ERD)。首先,该算法设计了一个边缘信息增强下采样模块(Edge Information Enhancement Stem,EIEStem),该模块通过结合边缘检测(Sobel)算子与多尺度空间池化技术强化了边缘特征以及空间信息的提取;其次,设计了任务动态对齐检测头(Task Dynamic Align Detection Head,TDAD-Head),该检测头通过共享卷积增加分类与回归任务的交互,并利用任务拆解机制和可变形卷积实现动态特征选择与任务对齐,从而缓解了分类与回归任务的空间错位;最后,采用四点距离旋转损失(Four Points Distance Rotation Intersection over Union,FPDIo U)优化边界框回归函数,提升旋转框的定位精度。在DOTA数据集上的实验结果表明,YOLO-ERD的m AP@0.5达到72.9%,FPS达到33,优于目前主流的通用旋转目标检测算法,证明了该算法的有效性与竞争性。 (3)为了进一步提升模型精度并满足轻量化需求,提出基于注意力特征蒸馏的优化方法(AFKD)。该方法通过通道-空间注意力模块(Channel-Spatial Attention Module,CSAM)来进一步突出师生网络的二维特征图之间的细节差异,从而获得蒸馏特征,并使用全局语义信息模块(Global Context Block,Gc Block)来重建像素间长程依赖关系,以弥补蒸馏特征的全局信息损失。通过这样的设计能够充分利用教师和学生网络的特征差异,并保证全局信息的完整性,从而提高蒸馏过程的有效性。在多个数据集和网络架构上的实验结果表明,AFKD方法能够使学生模型的检测精度进一步提升,并且明显优于FGD、LD等蒸馏方法,在保证原算法轻量化优势的前提下,实现了更高的检测精度。 本文在多个遥感数据集上的验证证明了所提算法能够显著提升了复杂场景下多尺度、旋转目标的检测精度与效率,体现了所提算法在遥感图像目标检测领域的优势。

关键词： 制种玉米   目标检测   YOLOv8n   轻量化   分选装置  

摘要： 制种玉米作为优质玉米种子的主要来源,是保障玉米种植质量的核心生产资料。在种子生产过程中,制种玉米果穗去杂作为关键环节,目前主要依赖人工分选的方式。这种方法存在主观误差大、标准不统一、效率低下、成本高昂等问题,不仅制约了种子质量和生产效率,也难以满足现代种业对精度和效率的双重要求,已成为玉米种子标准化生产和农业现代化发展的瓶颈。因此,推进机械化,实现标准化、智能化分选,是突破当前产业发展瓶颈的关键路径。近年来,基于深度学习的目标检测算法为制种玉米果穗去杂提供了新的技术解决方案。然而,移动和嵌入式设备在计算资源、功耗及实时性等方面的限制,仍是算法部署和工厂化应用面临的主要挑战。为解决以上问题,本研究在YOL Ov8n的基础上进一步提出了一种更为高效轻量的SCCR-YOLO(Shuffle Net V2+C3Ghost+CCFM+RACHead)检测模型,并结合制种玉米果穗的特点,设计了以步进电机和分选板为执行机构的双输出分选装置,解决了制种玉米果穗分选设备短缺的问题。具体工作内容如下: (1)完成了制种玉米果穗数据集的构建工作 在数据集构建方面,针对制种玉米果穗去杂场景的特殊性。本研究在制种玉米收获期以制种公司人工分选的制种玉米果穗为样本,在分选生产车间分时段多批次拍摄。参考国标GB/T 17315-2011及相关文献研究,将图片分为正常穗、苞叶穗(未扒皮的果穗)、异形穗(尺寸异常)、异色穗、病穗、籽粒干瘪穗6类。同时为了使检测模型能够学习到的特征更加全面,提高模型的泛化能力和鲁棒性,减少数据偏差。对获取到的图像进行数据增强,添加对比度变化、随机亮度变化、高斯噪声和椒盐噪声。最终构建了由14000张制种玉米果穗图像组成的数据集。 (2)提出轻量级制种玉米果穗检测算法SCCR-YOLO 本研究针对YOLOv8n模型在制种玉米果穗检测中的性能优化需求,特别是在移动端和嵌入式设备等资源受限场景下的部署要求,提出了一系列创新性改进方案:为进一步轻量化、高效化检测模型引入Shuffle Net V2网络作为主干提取网络,在大幅度降低模型复杂度的同时仍保持较高的检测精度;其次在颈部网络采用C3Ghost+CCFM(Cross-Level Cross-Scale Feature Fusion Module)的改进方案,通过C3Ghost模块减少参数量和计算量,并利用CCFM融合多尺度特征,增强模型对尺度变化和小目标的检测能力的同时进一步轻量化模型;最后引入全新检测头RACHead检测头,减少冗余计算,保持较低的计算量和参数量的同时进一步增加模型的特征提取能力。融合改进后的SCCR-YOLO检测模型与YOLOv8n对比参数量下降了50.5%,计算量下降了43.2%,模型权重文件大小下降了46%,召回率R上涨了2.7%,m AP精度上涨了1.2%。改进后的模型在检测精度和轻量化之间取得了更优的平衡,更适合在边缘设备中部署。 (3)完成了简易制种玉米果穗分选装置设计与试验 针对制种玉米果穗分选的现实问题,设计了以步进电机和分选板为执行机构的双输出分选装置。提出算法-硬件协同的创新方案,整体系统由图像采集装置、Jetson Orin NX检测系统和分选系统组成。将优化后的模型部署于Jetson Orin NX边缘计算平台,与图像采集装置协同工作,可实时完成制种玉米果穗的精准检测,达到92%的检测精度和14毫秒每帧的实时性能。基于检测结果,以STM32F103C8T6微控制器为核心的分选控制系统精确驱动步进电机和分选板机构,实现了毫秒级响应的自动化分选。成功实现了从视觉检测到机械分选的完整工序流程,试验结果表明,在保证92%高检出率的同时,分选准确率平均为92.7%,实现了每秒4-8颗的分选速率。显著提升了制种玉米果穗分选的效率和可靠性。

关键词： 网络入侵检测   深度学习   注意力机制   图像处理   多分类  

摘要： 网络入侵检测系统是确保网络安全的关键措施之一。随着网络在社会生活各个领域的应用日益深入,其迅猛发展所产生的海量数据给入侵检测系统带来了沉重的负担。这导致传统的机器学习模型越来越难以满足现有的安全环境需求,急需能够处理大量网络数据,成本更低,准确率更高的NIDS,基于人工智能的NIDS成为许多研究人员关注的焦点。 论文基于深度学习,从以下三个方面展开网络入侵检测模型的研究: (1)针对现有网络入侵检测模型在时空混合特征提取、学习、筛选等能力不足的问题,本文提出了一种的多尺度卷积双向长短期记忆注意力模型CNBLA。该模型采用并行的卷积神经网络和双向长短期记忆网络结构,分别提取数据的空间和时间特征,突破了传统单一特征提取方法的局限,能够并行捕获空间局部模式和长期时间依赖关系,生成更为丰富和复杂的特征表示。随后,利用通道、空间、自注意力机制对提取的时空特征进行筛选,进一步增强了模型对关键特征的聚焦能力。实验结果表明,CNBLA模型无论是在二分类还是在多分类的异常检测问题上都有着相较于传统模型更强的检测性能。 (2)针对现有网络入侵检测模型在时空特征学习、数据转换过程中的特征丢失以及模型泛化能力等方面的不足,在CNBLA的基础上提出了RES-HE-MCBLA模型。将CNBLA模型修改为了MCBLA模块,共计四个MCBLA模块和两个RESNET残差网络模块。RESNET残差网络的加入不仅增强了梯度的稳定性,还拓宽了模型对数据的感受范围,从而提升了特征提取的全面性和深度。通过在两个热门公开数据集上的实验验证,RES-HE-MCBLA模型表现出优于传统模型的性能,证明了其有效性和先进性。此外,针对网络流量数据在转换为特征图过程中容易导致特征丢失的问题,本研究在流量特征映射为图像的过程中引入了直方图均值化操作,显著提升了流量图像特征之间的对比度,便于模型提取和学习。 (3)基于研究一和二迭代出的RES-HE-MCBLA网络入侵检测模型,搭建一个网络入侵检测系统,在现实环境当中实战检验模型能力。架构分为数据采集、数据预处理、攻击检测和数据记录四个模块。通过网络流量嗅探工具实时捕获网络流量数据,原始数据经过清洗、特征提取和格式转换等预处理步骤,转化为适合模型输入的标准化格式。预处理后的数据被送入深度学习模型进行分析和分类,识别潜在的恶意流量和攻击行为。系统将被分类的流量数据进行保存和记录,并展示到可视化界面,便于管理员快速定位和响应威胁。在实际网络环境中的测试表明,在系统的轻量化和检测精确度上表现优秀,能很好的适应现实的网络流量环境。 本文针对传统网络入侵检测系统(NIDS)在处理海量数据时性能不足的问题,基于深度学习提出创新解决方案:1)设计多尺度卷积双向LSTM注意力模型(CNBLA),通过并行时空特征提取与注意力机制提升检测精度;2)进一步优化为RES-HE-MCBLA模型,结合残差网络与直方图均值化,增强特征保留与泛化能力;3)构建轻量化实战系统,实测显示其在检测准确率与适应性方面表现优异,为现实网络环境提供了高效安全防护。

关键词： 复杂场景   小目标检测   MS-Block(Multi-Scale Block)   ECA(Efficient Channel Attention)   注意力模块  

摘要： 针对复杂交通场景目标检测方法的不足,特别是对小目标和遮挡目标的漏检及多尺度目标检测和模型鲁棒性方面的不足,提出了一种改进后的YOLOv8s-SRCEM(You Only Look Once version 8 small model with Small object detection head,Residual Convolutional block attention module,Efficient channel attention module,and Multi-scale block)模型:引入小目标检测头,使模型能够更加敏感地捕捉小尺寸目标,提高对小目标的检测能力;在小目标检测头上集成Res-CBAM(Residual Convolutional Block Attention Module),进一步提高特征学习的显著性;在骨干网络中加入EC A (Efficient Channel Attention)模块,强化模型对特征通道重要性的关注,提升特征选择和模型的鲁棒性;将原始的SPPF(Spatial Pyramid Pooling-Fast)模块替换为MS-Block (Multi-Scale Block),模型在不同尺度上的特征捕捉和融合能力得到增强。在KITTI数据集上,改进后的模型相比于YOLOv8s模型mAP(mean Average Precision)值提高了6.6%。实验结果表明,多种改进方案的组合使模型在复杂交通场景中的检测性能得到全面提升。

关键词： 幻影卷积   P2检测层   三重注意力   YOLOv8   小目标检测  

摘要： 准确的缺陷检测对保证产品质量和设备可靠性起着至关重要的作用。小目标检测由于特征表征弱和背景干扰大而面临着独特的挑战。为了解决这些问题，将3个关键创新纳入YOLOv8框架：使用GhostNet卷积进行轻量级和高效的特征提取，增加P2检测层以增强小目标检测能力，以及集成三重注意力机制以捕获全面的空间和通道依赖关系。这些改进共同优化了小物体的检测性能，同时降低了计算复杂度。实验结果表明，增强模型的平均精度（mAP@0.5）为97.46%,平均精度（mAP@0.5∶0.95）为61.84%,与基线YOLOv8模型相比，性能分别提高了1.9%和3.2%。此外，该模型实现了158帧·s-1的帧率，在保持实时检测能力的同时减少了50%的参数计数，进一步强调了其在复杂场景下小目标检测的效率和适用性。

关键词： 深度学习   目标识别   计算机视觉   数据增强   注意力机制  

摘要： 三维点云目标识别是计算机视觉和人工智能的重要研究方向,在自动驾驶、军事侦查及无人装备导航等领域具有不可替代的战略价值。点云数据凭借高精度、高分辨率与抗干扰特性为目标识别提供独特优势,然而现有方法在多层级场景中仍存在局限性。近程目标几何特征挖掘不充分,中程目标计算效率亟待优化,远程目标点云稀疏、信息残缺。针对以上问题,本文分别提出了优化方案。通过几何-语义协同特征提取增强目标几何特征与语义特征挖掘,基于点云-体素联合处理提升计算效率并平衡检测精度,结合图像信息弥补远距离稀疏缺陷。本文的主要研究内容如下: (1)3D目标识别数据集构建 针对现有数据集存在多样性不足的问题,本文在使用传统数据增强方法的同时提出了一种基于地面拟合的SM-GT-Sample增强算法。SM-GT-Sample算法通过RANSAC拟合地面获取地面信息,基于地面信息优化目标插入策略,以避免在不合理的位置进行目标插入。实验结果表明,数据增强算法有效提升了数据多样性,为后续模型训练提供了高质量数据。 (2)基于几何-语义协同特征提取的改进Point Att-RCNN识别算法 针对现有算法在近程目标识别中侧重语义特征而未充分挖掘几何特征的问题,本文提出了一种Point Att-RCNN算法。引入非参数化几何编码模块(Point-NN),通过三角函数嵌入与多级框架聚合捕捉几何特征。同时引入三重注意力机制(Triplet Attention)动态增强关键区域特征权重,并结合残差MLP深化全局上下文学习。实验结果表明,Point Att-RCNN在车辆类别上的识别精度达到了89.35%,对于具有几何结构的目标识别效果显著。 (3)基于点云-体素联合处理的改进ESPV-RCNN识别算法 针对中程目标点云数据量庞大,现有算法存在计算效率低下的问题,本文提出了一种ESPV-RCNN算法。本文将空间剪枝稀疏卷积(SPS-Conv)嵌入到稀疏3D卷积网络中,可以动态剔除冗余信息并优化计算资源。同时在采样中加入基于语义引导的下采样策略,可以有效过滤背景点并捕捉目标关键点。为加快采样速度,采用Voxel Query替换传统的Ball Query实现体素级高效特征聚合。最后将通道与空间注意力机制融入网络,进一步强化了细节特征的提取。实验结果表明,ESPV-RCNN在保持精度的同时,推理速度提升10FPS,显著增强了模型的实时性与效率。 (4)基于图像信息增强的改进EF-Pillars Net识别算法 针对远程目标点云稀疏而单一模态信息有限难以解决的问题,本文提出了一种基于图像信息增强的EF-Pillars Net目标识别算法。算法采用Deep Labv3+语义分割网络对图像进行分割,投影并提取目标锥体空间,结合图像深度信息生成虚拟点云以补全远距离区域目标的稀疏点云。同时将图像语义分割分数作为附加特征注入点云,将增强后的点云数据输入Point Pillars网络进行目标识别,以提升远距离目标检测的精度。实验结果表明,EF-Pillars Net通过图像信息增强,提升困难类别精度超4%,有效改善了远距离目标识别性能。

关键词： Object detection  

摘要： Camouflaged object detection (COD) aims to identify target objects in complex scenes with extremely high similarity to their surroundings, and has significant applications in military, medical, and other fields. This paper proposes a hierarchical feature-enhanced aggregation network (HFANet) for COD, aiming to address the situations that the target object is highly similar to the background. First, we adopt the pyramid vision Transformer model as the backbone for feature extraction. On top of it, the object-region amplification module and deep interaction guidance module are stacked to enhance the perception of camouflaged objects in complex scenes. Second, an enhanced receptive field module is designed to improve edge perception of camouflaged objects. At last, a multi-scale interactive fusion module is designed by cross-scale connection through adjacent layers, effectively improving the accuracy of COD. The proposed method is evaluated on three challenging datasets: CAMO, CHAMELEON, and COD10K. Evaluation results demonstrate superior performance compared to the state-of-the-art methods. © Shanghai Jiao Tong University 2024.

关键词： 移动机器人   视觉抓取   目标检测  

摘要： 复合移动机器人作为一种高柔性机器人,由移动平台、机械臂、视觉模组、末端执行器等组成。机械臂随移动平台灵活移动,配合视觉系统与末端工具可实现物体的识别、巡检、抓取等功能。尽管其应用前景广阔,但也面临着一些挑战和问题。特别是在移动平台与机械臂的协同作业中,如何实现基于视觉的高效目标识别与自主抓取仍是当前的研究难点。虽然国内外已在机器人抓取技术上展开了大量的研究,但在识别算法、速度、智能性、抓取规划、协同控制方面仍存在一些技术瓶颈。通过深度学习算法提升视觉识别精度,结合视觉、激光雷达与力传感器技术,可以实现更高精度的抓取操作。因此本文开展了一种复合型移动机器人视觉抓取技术研究,主要研究内容如下: (1)复合型移动机器人平台系统集成和搭建。本实验室合作搭建了复合型移动机器人平台,由山速智能公司的圆形室内智能移动平台、法奥意威公司的FR5协作机械臂、大寰公司的两指夹持器、Intel Real Sense RGBD深度相机等构成。该试验平台基于开源的ROS系统开发,具备室内自主定位导航、机械臂抓取、以及RGBD相机检测能力,同时提供了丰富传感器接口和API选项,便于进行二次开发和集成。 (2)复合型移动机器人视觉抓取系统研究。针对移动机器人视觉“眼在手上”的抓取任务需求,以Intel Real Sense D435为研究对象进行双目测距原理推理;然后推导相机和手眼标定原理,使用Matlab的Camera Calibrator进行相机内外参标定以及“眼在手上”手眼标定试验;最后结合目标位姿与室内作业环境特征,确定了自上而下的抓取策略。 (3)设计轻量化目标检测网络。针对现有目标检测算法在仓储物流复杂环境中对快递包裹的检测容易出现漏检、误检现象,以及模型复杂度高,难以嵌入到资源有限的移动设备等问题,设计了一种轻量化特征提取模块SCS(SC-CA-SC),该模块融合最近邻插值和深度可分离卷积的下采样方式,增强网络对边缘特征的提取能力,利用该模块构建YOLOv8n-SCS-CE网络,设计了含有嵌套方式的冗余消除策略,引入空间通道注意力机制,减少模型参数,在保证识别精度的同时提高了模型推理效率,为下一章节所探讨的复合型移动机器人抓取试验提供了目标检测算法。 (4)复合型移动机器人视觉抓取试验研究。首先对整机系统进行了联合测试与试验,可以使用Linux SSH等远程操作方式控制机器人主机,实现了基于激光雷达的Gmapping SLAM导航和机械臂的视觉抓取功能。编写了移动机器人抓取试验所需要的主要ROS节点,分析了抓取主程序框架的设计流程。在Ubuntu ROS系统中部署了用于机器人视觉检测的目标检测算法(YOLOv8n-SCS-CE),并通过ROS节点与主机通信。在搭建好的试验环境中分别开展了基于HSV空间的球体识别抓取试验,以及基于YOLOv8的盒状包裹移动抓取试验。试验结果表明,复合型移动机器人视觉抓取系统能够完成预定的任务要求,验证了本研究方案的可行性与可靠性。