关键词： 目标检测   无人机视角   特征融合   损失函数   模型轻量化  

摘要： 近年来随着无人机技术的快速发展,无人机在军事、民用以及商业等领域的应用越来越广泛。其中,无人机视角下的多目标检测是无人机应用中的重要研究方向之一。计算机视觉技术与无人机技术的有机结合,使得无人机视角下多目标检测具有广阔的应用空间和发展前景。但是目前主流的检测算法无法克服航拍图像中出现的目标高度变化、尺度不一、目标多且小等问题,从而导致检测困难,且多数算法模型较大、检测速度慢,效率过低。针对上述问题,本文开展了基于YOLOv8网络模型的无人机视角下多目标检测的研究。 针对无人机视角下图像场景大、目标多且小与目标遮挡等问题,本文提出了改进YOLOv8多目标检测方法的变融注意力检测器-YOLO(BDAD-YOLO)。首先,引入BiFormer的思想改造骨干网络结构,进一步提高模型对关键信息的关注,保留目标细粒度细节信息。其次,基于可变形卷积和C2f模块设计了一种新模块,增强对于小目标的特征提取并且使小目标层部分对特征信息的融合能力进一步提升。然后,提出一种新的动态注意力尺度序列特征融合结构,使用轻量化动态点采样并通过融合不同尺度的特征图来增强网络提取多尺度信息的能力。最后采用WIoU损失函数,改善小目标低质量数据对梯度的不利影响,以加快网络收敛速度。实验结果表明,BDAD-YOLO改进算法相比于YOLOv8n在Vis Drone2019数据集的val集和test集,平均精度均值m AP50分别提升了4.6%和3.7%,同时在DOTA数据集上也提升了2.4%。进一步说明改进算法BDAD-YOLO的普适性,在无人机视角下的目标检测任务中可以达到较好的效果。 针对BDAD-YOLO算法参数量、计算复杂度和权重文件较大导致难以进行部署的问题,提出了一种轻量化算法BDADLight-YOLO。采用小波卷积进行轻量化,并改进C2f模块。然后提出一种高效轻量化检测头,大幅减少参数量。同时,通过在检测头中引入部分卷积,只对一部分连续通道做卷积,减少多余的参数和计算成本。此轻量化模型的改进可以更好地平衡检测精度与检测速度,降低了BDAD-YOLO模型的参数量和计算复杂度。在参数、复杂度和权重大小上,与YOLOv8n对比分别下降了38.5%、18.5%和32.8%,与BDAD-YOLO算法对比分别下降42.6%、38.9%和37.9%。最后,将BDADLight-YOLO网络模型部署在基于PyQt5设计的检测与识别系统中,实现对无人机视角下多目标的检测与识别,达到了较好的检测与识别效果。

关键词： 野外综合监测站   目标检测   模型剪枝   知识蒸馏   边缘计算设备  

摘要： 随着濒危物种种群数量的持续下降,野生动物保护已成为社会关注热点。目前,红外相机陷阱技术是监测野生动物分布及活动状态的主要手段,但在实际应用中存在数据回收困难、生境信息缺失、设备电池续航能力不足等问题,且大量数据依赖人工处理,不仅耗时费力,还导致数据分析滞后,进而影响野生动物保护工作的及时性和有效性。针对上述挑战,本研究设计并开发了基于边缘计算设备的野外综合监测站,能够采集野生动物图像和生境信息并支持远程传输,有效提升数据回收和处理效率,为野生动物保护与研究提供重要的技术支持。本研究主要研究内容和创新点如下所示: (1)在YOLOv8n目标检测模型的基础上,通过将其主干网络中的C2f结构替换为C2f-Faster-EMA结构,构建YOLOv8n-CFE模型,不仅实现网络结构的轻量化,还显著降低了参数量与计算量。与基线YOLOv8n模型相比,YOLOv8n-CFE模型在m AP@0.5上提升1.1%,尽管m AP@[0.5:0.95]略有下降(下降0.3%),但参数量减少23.26%,计算量降低19.75%。经过Tensor RT加速后,YOLOv8n-CFE模型推理速度从31.2 FPS提升至129.8 FPS,在硬件资源受限的边缘计算设备上具备更高的实时性。 (2)为进一步提升YOLOv8n-CFE模型在边缘计算设备上的推理速度并降低功耗,本研究采用基于层自适应幅度的剪枝方法(LAMP2.0),裁剪贡献较小的网络层以减轻计算负担,并引入知识蒸馏技术以降低剪枝带来的精度损失,从而得到YOLOv8n-CFE(LAMP2.0+YOLOv8L)模型。相比基线YOLOv8n模型,YOLOv8n-CFE(LAMP2.0+YOLOv8L)模型在m AP@0.5上提升了0.8%,尽管m AP@[0.5:0.95]下降0.6%,但其参数量减少77.41%,计算量降低60.49%。经过Tensor RT加速后,YOLOv8n-CFE(LAMP2.0+YOLOv8L)模型推理速度提升至147.8 FPS,相较于基线YOLOv8n模型增加24.7 FPS,比YOLOv8n-CFE模型高18 FPS。 (3)设计并实现野外综合监测站,监测站由图像采集和处理单元、生境信息采集单元、网络云服务器单元以及异地远程监控单元四部分组成,负责采集野生动物的图像信息和生境信息,并通过4G网络无线传输至异地远程监控单元进行可视化展示。其中,图像采集和处理单元由边缘计算设备Jetson AGX Orin与红外相机组成,Jetson AGX Orin部署量化的YOLOv8n-CFE(LAMP2.0+YOLOv8L)模型后,复制红外相机中未处理的图像信息并识别、裁剪出目标监测图像,以待传输至主控制器(香橙派)的存储卡中。生境信息采集单元由香橙派作为主控制器,按照工作计划以文本的形式记录各传感器采集的生境信息(包括空气和土壤中温湿度、风速、风向、雨量等),并与图像信息共同传输至网络云服务器。网络云服务器单元以阿里云服务器作为主控制器(香橙派)与异地远程监控单元之间通信的桥梁,旨在暂存主控制器(香橙派)发送的图像信息和生境信息,并在特定时间将暂存的数据传输至异地远程监控单元。同时,阿里云服务器还能够接收异地远程监控单元制定的工作计划,并将其及时传输至主控制器(香橙派)的存储卡中。异地远程监控单元是Py Qt编写的监控软件,用于制定并传输工作计划、查看监测站运行状态、接收监测站发送的图像信息和生境信息最终进行可视化操作。

关键词： 目标跟踪   Transformer   时空模板   多模板融合  

摘要： 目标跟踪作为计算机视觉领域的研究热点,在智能监控、自动驾驶、无人机导航等领域具有重要的理论价值与应用前景。目标跟踪是指根据目标的初始状态持续预测目标在后续视频帧中的位置与大小。随着深度学习的蓬勃发展,目标跟踪的技术演进经历了从早期依赖传统相关滤波算法,到借助深度孪生网络平衡跟踪精度与速度,再到当下引入Transformer架构大幅提升跟踪性能,使得目标跟踪在复杂多变的场景中也能展现出更强的适应性。然而,现有基于Transformer的目标跟踪方法仍存在特征提取对多尺度适应性不足、目标有效特征关注不足、模板退化与表征不足等问题,影响目标定位与长时跟踪精度。针对上述问题,本文通过深度耦合时空模板与Transformer架构,提出基于时空Transformer的目标跟踪方法,克服了复杂场景下现有方法的不足,主要贡献如下: (1)针对特征提取对多尺度适应性不足和模板退化问题,提出了基于时空模板级联的多尺度轻量Transformer目标跟踪方法。首先,设计多尺度轻量Transformer特征提取网络,利用分流自注意力机制使模型在自注意力层中灵活地合并特征令牌,习得多尺度特征,减少令牌数量和参数量,降低计算复杂度,实现网络轻量化。在此基础上引入高效通道注意力机制,在空间域强化局部细节感知,以增强特征提取能力。其次,利用时空级联融合网络融合初始模板与动态模板的级联特征以提供时空信息,并利用时空模板更新策略,自适应地更新动态模板,提高跟踪算法的准确性和鲁棒性。本方法在La SOT、GOT-10k等公开数据集上的精度分别为66.8%和70.1%,跟踪速度为46FPS,表明其在实时运行的同时取得了优异的跟踪性能,有效解决尺度变化、遮挡问题。 (2)针对目标有效特征关注不足和模板表征不足问题,提出了基于时空模板增强的稀疏感知Transformer目标跟踪方法。首先,设计时空模板增强模块,通过交叉注意力聚合历史模板库中的目标外观及历史上下文特征,生成融合时空信息与先验特征的稳健模板,以增强模板的表征能力。其次,在骨干网络中利用稀疏自注意力机制突出前景区域,减少对背景的关注,同时利用背景筛除模块过滤背景信息,减轻计算复杂度。最后,引入模板更新机制,自适应地更新历史模板库,保持历史模板库的时效性。本方法在La SOT、GOT-10k等公开数据集上的精度分别为70.1%和73.3%,性能表现最优,能有效应对背景干扰、目标遮挡等挑战。

关键词： 特征对齐融合   条状注意力模块   轮廓增强模块   分割一切模型   领域特定提示模块   渐进自提示解码器模块  

摘要： 显著性目标检测旨在模拟人类视觉系统处理图像,预测图像中人类感兴趣的区域,从而获取场景中的关键信息。作为一项重要的预处理技术,显著性目标检测被广泛应用于计算机视觉的核心任务中,如目标识别与跟踪、医学图像处理、图像压缩以及基于内容感知的图像编辑等,有力地推动了各领域的发展。 本文基于显著性目标检测这一课题展开了相关关键技术研究。首先,针对常规显著性目标检测方法存在的问题进行了分析,从特征对齐融合、轻量化模块设计等角度出发,设计了相关方法。为提升课题的实际应用价值,在光学遥感图像领域进行了扩展实验。鉴于自然图像与光学遥感图像之间的差异,常规显著性目标检测方法难以在光学遥感图像中达到预期性能。因此,本文进一步针对光学遥感图像显著性目标检测方法展开深入研究,对现有方法受骨干网络泛化能力影响的问题进行了改善。本文主要研究内容及创新总结如下: (1)针对现有深度学习方法中直接上采样特征并与上一尺度特征融合所导致的语义失调问题,本文提出了一种新颖的对齐融合网络。该网络通过逐步对齐毗连层的特征,实现多尺度语义信息的有效融合。为了更好的缓解失调问题,本文提出了流对齐和可变形对齐两种模块。流对齐模块通过学习特征之间的语义流实现对低尺度的高层特征的空间变换,从而与上一个尺度的低层特征进行融合。然而,这种方式只能学习一个空间位置的一种补偿,对于复杂的失调问题往往是不够的。为此,本文进一步提出了可变形对齐模块,采用可变形卷积替代流对齐模块中的空间变换,提升补偿的多样性。实验结果证明,所提方法能够有效地改善语义失调问题,显著地提升了模型的性能。相较于未对齐的网络,所提出的可变形对齐融合网络在五个标准数据集上平均绝对误差分别实现了20.93%、22.86%、11.43%、17.78%以及11.11%的性能提升。与现有方法的比较进一步证明了方法的有效性。 (2)为了高效地帮助网络获取全局及局部信息,本文提出了轻量化全局上下文建模与局部细节学习的显著性目标检测方法。该方法利用非局部自注意力机制捕捉特征中的全局信息。为提升计算效率并优化网络结构,本文采用条状注意力替代原始非局部自注意力,并结合任务特点,将其嵌入特征融合的中间过程,以实现高层融合特征全局上下文信息的扩增。此外,本文提出了一种简单而有效的轮廓增强模块,以提升特征在关键空间细节上的表达能力,同时学习网络训练阶段需要的注意力图。基于该注意力图,本文进一步提出了一种注意力加权损失函数,使网络在训练阶段更关注于模棱两可及困难的区域,从而增强模型在局部细节上的学习能力。本文方法在仅增加1.4%参数量的情况下,有效实现了网络性能的提升。对比实验表明,本文提出的方法在五个标准数据集上的性能超越了17种先进方法,同时保持了相对较小的参数量和计算复杂度。 (3)针对现有光学遥感图像显著性目标检测方法性能受到骨干网络泛化能力影响的问题,本文将分割一切模型引入光学遥感图像显著性检测领域,提出了一种新颖的渐进自提示分割一切模型。该模型以自学习的方式在骨干网络内部和外部同时产生提示信息,有效地增强了骨干网络在光学遥感图像领域的适应性。在骨干网络内部,本文设计了领域特定提示模块通过块共享和块特定适配器自适应地学习视觉提示,帮助骨干网络补充领域特定的知识。在骨干网络外部,本文提出的渐进自提示解码器模块可以逐步生成分阶段的掩码提示以引导多层特征的融合,以由粗到细地方式产生最终的显著图。此外,本文采用参数高效微调技术进行训练,使整个网络的训练参数仅为773.22K。消融实验证明,相较于基准网络,本文所提方法在三个光学遥感图像数据集上平均绝对误差分别实现了39.60%、36.99%以及28.81%的性能提升。与主流的32种先进方法的对比结果显示,本文方法在总计18项评价指标中,取得了17项最优表现和1项次优表现,达到了目前最先进的水平。

关键词： 稀疏采样CT图像   同步辐射X射线   扩展投影   迭代重建算法   非局部均值  

摘要： X射线计算机断层扫描成像(X-ray Computed Tomography,X-CT)作为一种重要的三维无损检测技术,其基于物质成分对X射线吸收特性差异的成像原理,已广泛应用于医学诊断、生物研究和材料科学等多个领域。然而,X射线成像过程中不可避免的辐射效应导致样品吸收剂量累积,尤其对于生物组织等辐射敏感样品,过高辐射剂量会引发不可逆的辐射损伤,严重制约了该技术在生命科学等领域的应用。 降低辐射剂量的有效途径之一是采用稀疏采样技术,通过减少投影角度数实现剂量控制。但该方法会显著降低投影数据完整性,使重建图像产生条纹伪影、细节模糊等失真现象,严重影响图像空间解析度和结构表征准确性。 本研究针对上述技术瓶颈,系统性地从CT成像的三个核心环节开展研究:首先,研究了投影数据优化方案补充缺失的投影数据;其次,创新CT重建算法增强稀疏采样投影数据的重建能力;最后,改进图像降噪算法抑制重建图像中的伪影。本研究具体内容如下: 1.本研究提出了一种基于投影扩展的稀疏采样迭代CT重建算法。该算法通过投影数据补充方法实现高质量CT重建:首先,对原始稀疏采样正弦图进行直接重建,然后,通过前向投影生成扩展投影数据,将稀疏采样正弦图扩展至全采样大小;在迭代过程中,原始投影数据与扩展投影数据通过加权融合共同参与图像更新,直至重建质量达到收敛标准。基于Shepp-Logan数值模型的实验表明,相较于传统迭代算法,本方法在重建图像的结构相似度指数(SSIM)和峰值信噪比(PSNR)两项关键指标上分别平均提升了13.9%和6.1%,有效抑制了伪影并保留了结构细节。 2.本研究提出了一种基于FBP的实空间迭代CT重建算法。实空间迭代重建算法原为电子断层成像开发的三维重建算法,通过直接迭代更新图像避免频域变换,但其基于系统矩阵的前后向投影运算在同步辐射CT重建中会消耗大量的物理资源。为此,本研究采用滤波反投影(FBP)算法结合Radon变换替代系统矩阵的伪逆运算,有效降低了硬件需求。数值模拟表明改进后的算法在保持重建精度的同时能够显著提升计算效率。将该方法应用于模拟细胞数据和同步辐射兔骨样本的三维重构,通过断层图像的三维可视化清晰解析了样本内部精细结构。 3.本研究提出了一种增强型非局部均值算法以改善稀疏采样CT图像质量。该算法在经典非局部均值框架基础上,创新性地引入了各向异性视野核与双边权重函数机制:前者通过方向敏感搜索窗提升结构辨识能力,后者通过结构-像素双重约束优化相似性度量。模拟数据和同步辐射CT实验数据的测试表明,相较于现有的非局部均值改进算法,本方法在保持组织纹理的同时,其混叠伪影抑制能力在结构相似度指数(SSIM)和衬度噪声比(CNR)指标上分别提高了15.1%和15.8%,显著提升了低剂量CT图像的可识别性。 针对稀疏采样CT成像中辐射剂量与图像质量的矛盾问题,本研究系统性地从投影数据优化、重建算法改进和图像降噪三个核心环节开展研究,构建了完整的低剂量X-CT成像技术体系。本研究在保证成像质量的同时显著降低了辐射剂量,并将研究成功应用于同步辐射生物样品的三维结构解析。研究成果不仅为生物成像及辐射敏感材料检测提供了技术支撑,也为医学与工业CT的低辐射成像技术发展奠定了方法论基础。

关键词： 驾驶安全   三维凝视目标检测   注意力监测   危险预测   警报系统   融合技术  

摘要： 交通事故每年都会造成大量人员伤亡和财产损失，其中驾驶员注意力分散是导致事故发生的关键原因之一。传统驾驶员注意力监测系统难以准确判断视线方向与潜在危险的关系，因此研发更高精度的驾驶安全监测系统显得尤为重要。为此，提出一种基于三维凝视目标检测的驾驶环境危险监测系统，综合运用单目摄像头三维人脸重建、凝视目标检测算法等技术，实现对驾驶员注意力的精准监测。同时，结合DETR目标检测算法与TGM模型进行危险预测，并设计创新的警报系统及用户交互系统。该系统通过融合多种技术，有效提高了驾驶员注意力检测准确性、危险评估全面性及警报有效性，但仍面临人脸异常精度检测和全球坐标系精确建立等挑战。未来有望通过技术优化进一步提升性能，从而为降低交通事故发生率、保障驾驶安全提供有力支持。

关键词： 卫星视频   单目标跟踪   多目标跟踪   卷积神经网络   Transformer  

摘要： 卫星视频目标跟踪任务在时空智能感知研究中发挥着重要的作用,能有效完成城市交通管理、自然灾害动态响应等任务。然而,由于图像的成像角度、光照条件等因素的影响,卫星视频中的目标存在复杂遮挡、相似目标干扰、低质量、背景杂乱等问题。现有的方法对卫星视频中目标的上下文信息和局部信息的提取能力不足,导致部分细节信息丢失。针对上述问题,本文开展基于卫星视频目标跟踪的方法研究,主要研究内容如下: （1）针对卫星视频单目标跟踪中复杂遮挡、相似目标干扰问题,提出一种孪生光谱-空间-帧关联网络的卫星视频单目标跟踪方法（Single-object Tracking Method Based on Siamese Spectral-Spatial-Frame Correlation Network,Siam S2F）。该方法结合卷积神经网络与自注意力机制,增强了网络在复杂场景中对相似目标和遮挡问题的鲁棒性。同时,提出了一种光谱-空间-帧注意力模块,该模块通过增强视频帧之间的交互,可以更好地关注目标的连续性,有效解决复杂遮挡问题。最后,提出了一种分类回归头模块,该模块包含三种损失函数,通过三种损失函数的协同作用来解决相似目标干扰问题。 （2）针对卫星视频单目标跟踪中视频低质量、背景杂乱问题,提出一种时序增强Transformer卫星视频单目标跟踪方法（Single-object Tracking Method Based on Time-series Enhanced Transformer,ST2SET）。首先,该方法结合了卷积神经网络和Transformer的各自优势,构建了一个混合跟踪框架。其次,设计了一种多尺度交互注意力机制,该机制通过构建多粒度感受野金字塔,有效解决视频低质量问题。最后,对Transformer的编码器-解码器架构进行了针对性改进。在编码器部分,设计了时空上下文融合注意力机制,并通过掩码矩阵对上下文信息进行过滤和聚焦,有效解决背景杂乱的问题。在解码器部分,设计了时空上下文广播注意力机制,同时采用了跨帧时间信息传播方法,以平滑跟踪目标外观的变化,有效缓解目标旋转问题。 （3）针对卫星视频多目标跟踪中目标空间密集分布导致的漏检问题,提出一种基于动态感知的卫星视频多目标跟踪方法（Satellite Video Multi-object Tracking Method Based on Dynamic Perception,SMotDP）。首先,该方法设计动态掩码传播模块,该模块首先利用分块交叉注意力提取精细化特征,进而利用动态缩放注意力模块对空间拓扑建模,显著提升检测性能。进一步地,将动态缩放注意力集成到掩模传播与运动预测网络,实现通道与空间联合编码,有效缓解多目标跟踪中漏检的问题。

关键词： 计算机视觉   眼部医学图像   视神经鞘分割   MTM术后预测  

摘要： 眼部是人体唯一可非侵入性直接观察神经与微血管状态的窗口,其影像在多种全身性疾病的早期筛查中具有独特价值。其中,视神经鞘直径是评估颅内压水平的重要间接指标,但现有方法多基于清晰图像开展,面对临床中常见的模糊图像时分割性能显著下降;黄斑区则是高度近视患者最易发生病变的核心区域,其结构变化直接影响视力预后,然而当前针对近视牵引性黄斑病变(Myopic Traction Maculopathy,MTM)术后视力预测的研究基本空白。此外,由于眼部图像空间尺度小、对比度低且个体差异大,传统手工分析方法在效率和精度上已难以满足临床需求。近年来,深度学习技术逐渐成为医学图像智能分析的重要手段。本文围绕视神经鞘分割与MTM术后预测任务开展研究,并进一步开发面向临床的辅助诊断系统。 1.为实现在视神经鞘边界模糊的临床图像下的精准分割,针对视神经鞘形状简单的特点,引入基于Bounding Box添加mask分支实现语义分割的YOLOv5s网络。同时针对YOLOv5s更关注局部特征的局限性,引入多种包含残差结构以及注意力机制的模块帮助网络在不过多舍弃原有对局部特征获取的基础上,更好地理解视神经鞘超声图像的全局特征。这种对局部以及全局特征的全面把握帮助本章算法CBC-YOLOv5s获得了最佳性能。实验结果表明,本章算法在Z2Hospital Ons-5000数据集上全面优于对比方法:在总测试集上,相比U-Net、U-Net++、Swin-Unet、YOLOv8s和YOLOv5s,本章算法的Dice系数提高11、7.6、2、4.7和1.1个百分点;在模糊测试集上,提升更是分别达到15.1、12、6.9、6.6和3.2个百分点,这表明本章算法显著提高了在模糊图像下的分割能力。 2.由于MTM术后预测数据集积累较难,难以短时间构建大数据集,因此需要实现在小样本数据下的MTM术后精准预测。基于这个需求,本章在迁移学习基础上引入追求参数与性能平衡的EfficientNet网络,首先提出构建放射组学特征融合图像策略来丰富光学相干断层扫描(Optical Coherence Tomography,OCT)图像特征,其次针对MTM患者眼部OCT图像存在的明显丝状物以及牵拉特征,提出ELA-EfficientNet网络,通过引入符合图像特征分布的特殊注意力机制以帮助网络精准预测。实验表明,提出MTM术后预测方法得到了88.24%的灵敏度以及89.47%的特异度,这有利说明了深度学习方法于MTM术后预测的可行性。 3.便捷设备医疗辅助诊断系统:构建了一个便捷设备医疗辅助诊断系统,支持视神经鞘直径检测与MTM术后预测两项任务。该系统通过在移动端设备上部署深度学习模型来辅助医师进行临床诊断,支持实时读取并处理患者医学影像视频并输出推理结果,该系统当前已在龙泉市人民医院、遂昌市人民医院、衢州市第二人民医院进行临床科研。