关键词： 目标检测   深度学习   旋转框   特征融合   注意力机制  

摘要： 计算机视觉作为人工智能领域的核心研究方向,通过模拟人类视觉系统,赋予计算机理解和解析视觉信息的能力,构建起人类与机器间沟通视觉世界的桥梁。在计算机视觉领域,通用目标检测在自然图像分析、自动驾驶和智能监控等应用中取得了显著进展。然而,在遥感影像、航空摄影等特定场景中,目标通常以不同的角度和方向出现,这极大地增加了目标检测的难度,使得旋转目标检测成为一个更具挑战性的任务。以遥感影像为例,拍摄视角的多样性和目标的复杂性,导致同一类目标可能呈现出各种旋转角度;航空摄影中,因飞行高度和角度的变化,地面目标的方向和尺度变化多样。在此背景下,如何提高旋转目标检测的鲁棒性、优化角度预测策略,并提升模型在不同尺度和复杂场景下的适应能力,成为当前研究的关键方向。解决这些问题,不仅有助于推动计算机视觉理论和技术的发展,也将为相关领域的实际应用带来更多可能。本文的主要工作有两个: (1)提出基于多分支方向性特征融合的旋转目标检测方法。先对Retina Net架构涵盖的主干网络、特征金字塔网络以及检测头展开深度剖析,再针对旋转目标检测独特需求,对Retina Net回归子网进行针对性改进,使其能预测旋转角度、计算目标边界框。在此基础上,创新性地提出由方向增强、分层解构重组和跨尺度融合分支构成的多分支方向性特征融合方法,对各方向的特性进行特征融合,同时将各方向上的特征信息和整体的语义信息进行结合,让图像的特征能得到更好的利用,提升检测精度与稳定性。实验结果表明,该方法在m AP上达到78.81%,优于现有旋转目标检测算法,能够更准确地检测不同尺度、方向变化复杂的目标,具有较好的适应性和泛化能力。 (2)提出基于角度解耦及注意力感知的旋转目标检测方法。旨在攻克现有旋转目标检测领域的角度预测精度欠佳、多尺度目标检测效能不足,以及复杂场景适应性薄弱等难题。该方法以Ro-Re Net为基线模型,借助角度解耦的检测头模块单独解析角度参数,引入可变形角度增强,以增强对角度检测的准确性。同时利用注意力机制精细感知模块精准捕捉目标细节、强化回归子网络细节感知能力。最后还通过损失函数的优化,提高模型准确率和加快模型收敛速度。实验结果表明,该方法在m AP上达到78.96%,在密集目标和模糊目标检测中表现优异,漏检和误检比例大幅降低。

关键词： 深度学习   目标检测   YOLOv8   注意力机制   假阳性删减  

摘要： 肺癌作为发病率和死亡率最高的癌症,其早期筛查和诊断对于提升患者的治愈率和生存率起着至关重要作用。低剂量CT扫描被广泛应用于早期肺结节的筛查,但是这一过程会产生大量的CT切片图像,显著增加了放射科医生的工作负担。另外,人工诊断具有一定的主观性,可能导致诊断错误,诊断遗漏和诊断时间延长。随着人工智能技术的不断发展,基于深度学习的计算机辅助诊断技术能够有效提高诊断准确率并且减轻医生的阅片压力。本文从低剂量CT图像的预处理,候选结节检测算法的优化,候选结节的假阳性删减三个方面展开研究,主要研究成果如下: (1)针对低剂量CT图像中伪影噪声干扰问题,本文提出了一种融合多尺度分解与形态学优化的肺实质分割算法。首先通过小波变换将原始图像分解为高频纹理分量与低频结构分量,分别采用BM3D去噪和全变分图像降噪处理,并通过逆变换重建获得增强图像。在此基础上,采用区域生长算法实现肺实质的粗分割,针对分割结果中由支气管低密度区域及噪声引起的空洞异常,构建多级形态学处理流程:通过寻找封闭轮廓并用背景像素值填充空洞,细化过程生成单一像素宽的骨架,以及粗化过程增加物体厚度,最终形成精确的掩膜图。实验结果表明,该算法在LUNA16数据集上的平均Dice系数达到91.7%,平均Io U达到86.2%,可以有效分割出肺实质区域。 (2)针对肺结节在图像中占比较小,不仅导致医生阅片难度大,还可能会出现误检和漏检等问题,本文提出在YOLOv8网络的基础上加入可形变卷积和多尺度模块,并融合坐标注意力机制,使得网络能够聚焦小目标的同时又扩大感受野而不丢失分辨率,同时利用不同方向的注意力模块来聚集目标上的上下文信息,增强特征表达,能够有效的提高定位精确度。实验结果表明,该算法在LUNA16数据集上的AP指标达到86.28%,Recall指标达到89.30%。 (3)针对肺结节检测中因肺部复杂解剖结构及二维算法特征提取能力有限而导致的高假阳性率问题,本文提出了一种基于三维Shuffle Net V2架构的新型假阳性删减网络,并引入3D CBAM模块增强对空间和通道信息的关注。通过注意力机制在通道和空间维度处理输入数据,该算法显著提升了特征提取能力和准确性。实验结果表明,相比传统方法,该算法减少了假阳性预测数量,这为提高肺结节检测的准确性和可靠性提供了有效解决方案。

关键词： 多模态图像   目标检测   Transformer   Mamba   鲁棒性  

摘要： 当前多数的目标检测方法基于可见光图像数据,严重受限于光照等环境因素的影响。与之相比,基于可见光和红外光的多模态目标检测有助于克服单模态目标检测的不足。然而,现有多模态目标检测方法存在以下问题:（1）特征融合不充分不高效。当前主流方法通常采用同尺度内的自注意力Transformer对多模态图像之间的互补信息进行提取,同尺度的特征交互限制了不同尺度的信息利用造成特征融合不充分,而且复杂度具有二次关系的自注意力计算对图像长序列效率低下。（2）扩展性和鲁棒性差。当前主流方法采用双分支结构,这使得针对单分支结构设计的通用新技术无法自然的扩展到这些方法中;同时,大部分方法鲁棒性不强,没有考虑模态图像丢失问题。针对以上挑战,本文从两个角度对现有方法进行了分析和研究,提出了两种新的红外-可见光多模态图像特征融合目标检测方法。主要工作如下: （1）在当前主流方法框架内,针对现有方法对不同模态特征融合的不高效和不充分问题,提出了一种新的基于Transformer和Mamba结构的多模态目标检测算法。首先,将特征融合过程分为尺度内融合阶段和尺度间融合阶段两个阶段,以综合利用不同尺度上的多模态特征实现充分融合。其次,基于Transformer层和Mamba层交织组成的混合结构JTMBlock模块设计了跨模态融合（CMF）模块和跨尺度融合（CLF）模块,以实现高效率的特征交互。最后,提出的模型在三个公开数据集FLIR、LLVIP和M3FD分别实现了46.5%、68.2%和63.6%的m AP分数,均已达到当前领域内的最先进水平且具有相当快的运行速度。 （2）在整体的角度重新考虑了现有主流方法的双分支框架,针对双分支结构扩展性差以及主流方法鲁棒性不足等问题,提出了一种基于统一结构的鲁棒多模态图像目标检测方法。该方法通过推广高性能单模态检测器到多模态图像领域,构成了一个统一的单分支多模态图像编解码框架。此外,构建了高效率信息聚合模块（HEIA）以及自适应特征融合模块（AFF）,以实现高效率的跨尺度信息交互以及在输入感知下的高质量特征融合。同时,还使用一种随机模态丢失训练策略来模拟模态数据丢失情况,有效地改善了模型的鲁棒性。最后,提出的模型在公开的FLIR、LLVIP和M3FD数据集上分别实现了47.2%、66.7%和61.1%的m AP分数,并在模态丢失的情况下仍能实现媲美或超越单模态图像目标检测方法的性能。

关键词： 深度学习   水下目标检测   YOLOv8   模型轻量化  

摘要： 近年来,目标检测技术依托于深度学习架构的革新,在理论创新与工程落地层面均实现了巨大突破。其中水下目标检测作为复杂环境感知的细分领域,因其独特的学科挑战性与重大的应用价值,迅速成为计算机视觉与海洋科学的交叉研究热点。然而,水下目标检测面临着独特的挑战和难点。一方面,水下场景复杂多变,水下目标存在着尺度各异、多目标密集相邻等问题,导致现阶段的检测算法对目标特征的提取不够充分,很容易发生漏检误检现象,从而影响检测效果;另一方面,复杂的深度学习算法模型体积庞大,计算需求较高,难以在资源受限的水下嵌入式设备上完成部署。因此针对上述问题,本文提出了基于渐进特征金字塔的YOLOv8水下目标检测算法和融合剪枝和蒸馏的轻量化水下目标检测算法,主要研究内容如下: (1)针对水下目标存在着尺度不一、密集相邻而导致的检测精度低,易发生漏检误检现象的问题,提出一种基于渐进特征金字塔的YOLOv8水下目标检测算法YOLOv8-MPMA。首先,在YOLOv8的主干网络中设计轻量化模块MV3-C2f-MLCA来替换C2f模块,在维持检测精度的同时确保模型结构不会太过复杂;其次,在主干网络的SPPF模块中加入PSA注意力机制,增强模型对大小目标的特征提取能力;然后,设计了一种Detect＿AFPN检测头,通过渐进特征金字塔网络AFPN模块捕获更丰富的上下文信息,加强模型对多尺度目标的感知能力;最后,采用MPDIo U损失替换YOLOv8中的CIo U损失,优化模型的训练过程并增强模型的鲁棒性。将算法YOLOv8-MPMA分别在URPC与RUOD数据集上进行实验,并与当前主流的目标检测算法进行可视化分析对比,实验结果表明,相较于基准算法YOLOv8n,YOLOv8-MPMA的检测精度在两个数据集上分别提升了2.6%和3.8%,同时与其它算法相比,检测性能也更加优异,可以很好地避免漏检误检现象的发生。 (2)针对水下目标检测算法YOLOv8-MPMA参数量与计算需求量大,不利于在水下嵌入式设备上部署的问题,提出一种融合剪枝和蒸馏的轻量化水下目标检测算法。首先,利用LAMP通道剪枝算法对YOLOv8-MPMA模型进行修剪,剪去不重要的通道信息和卷积核等,降低模型计算复杂度,压缩模型体积;其次,提出利用BCKD知识蒸馏的方法对剪枝后的模型进行蒸馏,减少因剪枝操作而带来的不必要的精度损失,恢复模型原有精度,提升模型检测性能。将融合剪枝和蒸馏的水下目标检测算法在URPC数据集上进行实验,并与当前主流的目标检测算法以及文献中的一些轻量化算法进行分析对比,实验结果表明,经过剪枝和蒸馏后的YOLOv8-MPMA算法参数量与计算量分别下降68%和60%,检测速度提升222帧/s,同时检测精度提升1%,能够在满足轻量化需求的同时维持高精度的检测,与其它算法相比,在模型简化、检测精度及推理速度方面都更具优势。最后,将算法部署到嵌入式开发板Jetson Nano B01上进行模型的测试实验,结果表明,该算法仍然表现出良好的实时检测性能,可以满足对于水下低配置设备的应用部署。

关键词： 深度学习   目标检测   精度补偿   机器视觉   机械臂抓取  

摘要： 在全球经济格局深度变革与产业结构持续升级的背景下,工业机器人作为现代智能制造体系的核心载体,凭借其人力成本优化效应、生产效能倍增等优势,已在汽车制造、电子装配等多个领域完成规模化应用。工业机器人作为执行码垛、物料分拣及装配等典型任务的基础功能单元,其使用较广泛的机械臂抓取系统的性能优化具有重要研究价值。通过融合机器视觉技术对抓取模式进行改造,可构建基于目标物体特征识别的自适应抓取系统。 本文对视觉工业机器人的目标识别与抓取技术进行研究,提出了一种基于深度学习技术的识别与抓取方法,同时针对嵌入式机械臂抓取精度不够问题,在非现场设计一个精度补偿系统,以满足不同要求下的抓取精度要求,研究的主要内容如下: 1.针对视觉图像信息采集问题,构建视觉采集系统,运用张正友平面棋盘格标定法对相机进行参数标定,获取相机内外参及坐标系变换矩阵,计算相机坐标系到机器人基坐标系的转换矩阵。搭建眼在手上的机械臂抓取平台,完成机械臂手眼标定实验。 2.针对实验环境中目标检测算法问题,通过对比挑选YOLOv4-Tiny为现场的本地目标检测网络模型,并对YOLOv4-Tiny进行改进,加入SE注意力机制和SPP结构,提升算法性能的同时保持较高的检测速度,然后利用本文创建的目标检测数据集,对改进的目标检测网络模型进行训练,并与原始算法进行对比,得出改进的YOLOv4-Tiny网络模型平均检测精度提高了7.4%。 3.针对嵌入式机械臂抓取精度不够问题,在非现场的上位机设计并部署一个精度补偿系统,精度补偿系统由通讯模块和高精度目标检测模块构成。对高精度目标检测模中的高精度模型YOLOv5进行训练,并于改进的YOLOv4-Tiny进行对比,平均检测精度提高了16.8%。对通讯模块进行设计并进行时延测试,加上冗余以保证整体系统运行。最后对机械臂进行建模,通过误差实验以验证精度补偿系统能够减小机械臂抓取误差。 4.针对算法的实验验证问题,本研究设计了一套视觉机械臂识别与抓取系统的总体方案,搭建了机器人识别与抓取实验平台,在所搭建的实验平台上开展抓取实验。实验结果表明,所提出的精度补偿系统能够提高机械臂识别与抓取的成功率,有效验证了本文所设计的精度补偿系统在嵌入式机械臂识别与抓取实验中的有效性。

关键词： 计算机视觉   人脸活体检测   卷积神经网络   双流模型   人脸图像分块   人脸识别应用  

摘要： 目前,人脸识别被广泛应用到各种身份识别场景中。由于微型的可见光摄像头被广泛安装在手机、平板、电脑等设备中,因此许多需要进行身份识别的应用程序会通过这些设备上的摄像头捕获人脸图像进行人脸识别。然而这一过程面临着虚假人脸攻击的风险,攻击者会通过打印照片,屏幕显示等手段冒充他人身份。为此,针对可见光图像的单模态虚假人脸识别技术的创新与改进仍有较大的意义。 现有的单模态人脸活体检测方法主要通过提取人脸图像中的图像特征、频域特征与在多帧图像中提取的时域特征进行虚假人脸分类,但较少有研究通过融合从多帧人脸图像中独立提取的高层次图像特征以提高检测效果。为此,本文将围绕着这一研究问题,展开相关研究,具体的工作如下: 1)针对多帧图像特征融合的问题,结合残差卷积神经网络与线性Bottleneck模块,提出一个具有多帧图像特征向量融合模块的单模态人脸活体检测模型。该模型通过基于全连接神经网络的特征融合模块对从多帧人脸图像中提取的高层次特征向量序列进行融合,最后通过全连接层神经网络进行虚假人脸分类。同时提出四元损失函数,用于提升提出模型的效果。模型通过实验,该模型在多帧融合的情况下在识别准确率比在单帧情况下的准确率更高,并且总体的准确率相比现有的同类型方案识别准确率更高。 2)针对图像特征与时域特征融合的问题,将上一工作中提出的多帧特征向量融合人脸活体检测模型与3D卷积神经网络结合,提出一个能提取和融合多帧图像特征与时域特征的双流人脸活体检测模型。该模型中包含一个的多帧图像特征融合分支,和一个基于3D卷积神经网络的时域特征提取分支,并在最后融合两个分支的分类预测输出最终的虚假人脸分类。提出的方案通过在模型训练中使用人脸深度辅助监督与四元损失函数提高模型的识别准确率。通过实验,该模型的识别准确率比其中的两个分支的识别准确率高,并且比上一工作中提出模型的识别准确率更高。 3)针对人脸活体检测模型泛化能力问题,将基于人脸分块图像的人脸活体检测模型与多帧图像特征融合手段结合,提出基于人脸视频分块的人脸活体检测模型。提出的模型在训练时采用单帧人脸图像分块输入,在推理时采用多帧分块输入。实验结果表明提出的模型在输入多帧分块输入时识别准确率更高,泛化能力更强。同时提出模型的泛化能力高于工作1提出的方法,并且高于现有的一些基于完整人脸图像输入的方法。 另一方面,随着人脸识别与人脸活体检测技术的日益成熟,相关的新应用场景不断地出现。为了推动相关技术在应用层面的创新,本文另一工作将应某企业的实际需求,应用人脸检测、人脸识别、人脸活体检测技术,设计并实现了一个能实时监控电脑使用者身份的软件系统。该系统会在电脑有人使用时通过摄像头拍摄使用者的人脸,并进行人脸识别与虚假人脸识别。当检测到未授权的用户人脸或虚假人脸时锁定电脑,以保护系统安全。

关键词： 海马记忆机制   目标检测跟踪   复杂背景   记忆池   双分支通路  

摘要： 目标检测与跟踪技术在复杂背景下的应用面临诸多挑战,例如相似物干扰、目标遮挡和光照变化等因素导致目标特征难以准确识别,进而在复杂环境中发生漏检和误检现象。针对上述问题,当前主流模型多采用深度学习方法,尽管这些方法在性能上取得了显著提升,但仍存在算法计算开销较大、难以在资源受限设备上实现实时推理、以及对对抗扰动较为敏感等局限性,限制了其在实际场景中的应用。本文拟通过模拟人脑海马记忆机制,改进现有基于深度学习的目标检测和跟踪模型,在保持跟踪速度的同时,提高模型的检测精度和泛化能力,综上所述,本文开展了如下两点工作研究: 1)为了解决小目标检测能力不足和模型过拟合问题,模拟人脑海马记忆机制,根据海马区不同神经元细胞的连接方式形成的TSP路径和MSP路径,模拟其不同路径的编码特性,提出了一种基于海马双分支通路的目标检测方法HIDPD,该方法通过通道剪枝技术来模拟TSP路径的稀疏编码特性,用于提取目标的稀疏特征,并结合注意力特征融合AFF,对MSP和TSP提取的特征进行融合,增强复杂场景下的目标检测能力。 2)为了解决目标跟踪中小目标的尺度适应性差、长期跟踪中的漂移问题,在上一点研究内容的基础上,完善了人脑海马记忆回路并对其功能特性进行模拟,提出了基于海马记忆池的MHP-HC目标跟踪方法,核心在于设计了记忆池(即吸引子网络),通过吸引子网络模拟尖波涟漪回放机制,将短期记忆转化为长期记忆,存储双分支融合后的特征,支持目标重检测和遮挡恢复;记忆池通过Hebbian学习构建动态吸引子状态,捕获目标的历史特征模式,在遮挡或目标短暂消失时,利用回放机制快速恢复目标身份,同时结合无瞄框定位模块提升小目标尺度适应性;MHP-HC采用多尺度特征融合机制处理提取的后两层特征,借助正交卷积核提升尺度辨识能力,同时通过引入通道注意力机制动态调整浅层特征的权重,以增强复杂场景下的特征表示能力。 综上所述,通过实验证明,本文第三章提出的基于海马双分支通路的目标检测方法HIDPD在MTD数据上的检测成功率达到了81.2%,第四章提出的MHP-HC目标跟踪方法在UAV123数据集上取得了成功率0.678、精确度0.864的优异性能,优于Siam DW和Siam CAR等传统方法,同时跟踪速度达178FPS,显著提升实时性,能更加适应复杂环境下的目标跟踪。