关键词： 深度学习   水下图像   目标检测   扩散模型   注意力  

摘要： 水下复杂环境的多因素干扰导致成像质量显著下降,严重制约着水下目标检测的精度,且现有算法在空间深度特征表征与细节纹理信息提取方面存在明显不足。为此,亟需从检测算法层面增强水下目标特征的学习能力提升算法的适应性,构建泛化性强的深度学习水下目标检测框架,为海洋探索任务提供可靠技术支撑。本文研究的主要内容如下: 第一,DiffusionDet模型在目标检测任务中表现良好并能够有效捕获水下复杂目标特征,但其结构上存在依赖大量噪声的缺陷。为此,针对提出了DifAda,这是一种专为精度与效率优化的模型。首先,通过使用潜在代码与随机噪声的融合有效增强了对目标候选的利用,克服了大量噪声的依赖。同时该模型通过使用单个解码器层来构建自适应去噪过程并简化了整体的结构,以更少的参数完成相仿的精度效果。在此基础上使用自适应交互进一步细化特征表示,达到对深层语义特征更敏感的捕获。此外,DifAda无需重新训练即可通过可调节的采样和迭代步骤支持灵活的速度与精度的均衡。实验结果表明,DifAda在明显减少目标候选和参数的情况下提供了有竞争力的性能,为水下目标检测带来了高效和可扩展的解决方案。 第二,在水下复杂环境下的目标检测算法容易出现特征退化,尤其对长距离目标及小尺度物体敏感度不足;并且长距离边界框回归时,Io U损失优化方向不明确。针对上述瓶颈,构建了应对水下特殊退化模式的多重增强架构。首先通过使用捕捉长距离的注意力机制增强对水下特征的提取,使其具备局部全局目标感知能力。然后使用特征表达能力更强的网络代替特征交互前的线性映射,通过更深层次的特征表达提升水下特征融合的效果。最后,还提出了具有长距离的损失惩罚,结合边缘惩罚优化边界框回归的过程。实验结果表明,该方法能够有效捕获深层表征,并且可以迁移使用不局限于单一算法的框架,为水下目标检测提供了获取更高层次语义信息的新方法。

关键词： 柠檬表面缺陷   图像处理   机器学习   自动化检测   SVM  

摘要： 柠檬作为一种重要的经济作物,其表面缺陷导致商品价值损失率达15%-30%,传统人工分拣方法难以满足高效检测的需求,而图像处理和机器学习技术在此领域的应用研究仍不够充分。本研究围绕着柠檬表面的五种主要缺陷干疤、病虫斑、日灼、斑点和机械伤开展研究,建立柠檬表面缺陷检测分类系统。具体的研究内容如下: (1)图像预处理与缺陷区域提取。分析了五类柠檬表面缺陷的特性,设计了适用于其完整检测与分类的流程,借助自研的图像采集系统获取红绿蓝(RGB)样本图像。预处理采用加权平均法进行灰度化、中值滤波去噪及大津法(Otsu)背景去除,为后续缺陷提取奠定基础。在此基础上,针对颜色不明显的缺陷,采用了一种结合色调-饱和度-明度(HSV)颜色模型与灰度阈值法的混合分割方法,有效分离颜色和灰度差异较小的缺陷,并通过形态学处理与连通区域分析优化分割边界。实验结果表明,此方法可以完整提取出柠檬缺陷区域,为特征提取和分类提供高质量的数据。 (2)特征提取和PCA降维。为构建缺陷区域检测与分类模型,从缺陷区域提取24维的HSV颜色矩、几何及灰度共生矩阵纹理特征。为减少特征冗余并降低计算复杂度,采用主成分分析(PCA)对提取的特征进行降维,结果表明,前4个主成分的累计贡献率达到95.059%,有效保留了95%以上的信息量,将特征空间降至4维,作为后续分类模型的输入,进而提升模型的分类准确率。 (3)基于SOA-SVM的缺陷分类模型。构建海鸥优化算法-支持向量机(SOA-SVM)分类模型,以10折交叉验证平均分类准确率为适应度值,优化SVM惩罚因子C和核参数γ。实验结果表明,在训练集上,SOA-SVM模型的适应度值达到96.94%,优于粒子群优化-支持向量机(PSO-SVM)的95.75%和灰狼优化算法-支持向量机(GWO-SVM)的94.88%。在测试集上,SOA-SVM的平均精确率为94.336%,F1-score为0.9436,均高于其他优化模型。因此,SOA-SVM模型能够对五种柠檬表面缺陷进行有效分类。 (4)柠檬表面缺陷检测与分类试验。通过基于图像采集和处理的试验平台验证,SOA-SVM模型与图像处理算法相结合,在柠檬表面缺陷检测分类中展现出实际应用价值,其缺陷检出率达到97.76%,缺陷分类准确率达到93.85%,表明该模型能够高效、准确地识别和分类柠檬表面缺陷,为柠檬质量检测提供了可靠的技术支撑。 论文通过SOA-SVM与图像处理技术实现了柠檬表面缺陷自动化检测与分类。研究表明,该系统在缺陷检测与分类中性能优异,为柠檬产业现代化发展提供有效解决方案。

关键词： 房树人绘画测试   图像分类   目标检测   特征提取   特征融合  

摘要： 房树人绘画测试具有非语言性、投射性和创造性优势,广泛应用于心理问题的识别与干预。然而,传统的房树人绘画测试依赖咨询师人工分析,结果易受到主观经验的影响,且效率较低,难以满足大规模心理筛查的需求。因此,将自动化方法应用在房树人绘画测试以提高客观性和效率是该领域的迫切需求。 在房树人图像中,绘画对象的多维度特征是心理分析的重要评价依据。现有端到端方法一体化程度较高,但容易受到无关特征的干扰,导致分类精度不足。此外,其“黑盒”特性使得特征与心理的投射关系难以提取与验证。多模块方法通过对绘画特征的提取与融合,在分类表现上优于端到端方法。然而,现有的多模块方法普遍存在计算冗余问题,且过于关注整体特征,忽视了对具体对象特征的细化分析。鉴于此,本文提出一种融合多维度特征的房树人图像心理分类方法,该方法优化和组合多个模块,旨在高效提取房树人绘画的多维度特征,并通过特征融合策略优化分类性能。本文的主要研究内容与成果如下: 首先,通过改进的YOLOv10n-S模型准确高效提取房树人绘画对象的位置和面积特征。在模型中,使用深度可分离卷积替代部分标准卷积,在C2f模块中嵌入动态蛇形卷积进行特征增强,并优化损失函数,最终在提升精度的同时减少了模型复杂度。 其次,使用改进的ARDP-SDNet网络准确提取关键绘画对象的形状特征。该网络基于草图识别任务模型Sketch-DeepNet构建,引入改进的自适应RDP算法作为下采样机制,通过通道和空间注意力机制增强特征识别能力,最终提升对房树人绘画对象的形状分类性能。 最后,设计了一种局部特征核变换的特征融合策略。根据多维度特征之间隐含的非线性关系和线性关系,将核函数应用于局部特征处理,结合拼接策略完成特征融合,构建出径向基神经网络实现最终的心理分类。 基于以上研究,本文以融合多维度特征的房树人图像心理分类方法为核心,通过目标定位、形状解析、心理映射的递进式分析,搭建了一个基于全局异步非阻塞技术的房树人绘画心理分析系统。在房树人绘画数据集上的测试结果表明,本文提出的融合多维度特征的房树人图像分类方法准确率达到91.9%,优于现有多模块方法,能够有效筛出负向心理绘画,在绘画分析相关研究中具有实际应用价值。

关键词： 网络安全   小样本学习   恶意软件分类   图像处理  

摘要： 虽然基于深度学习的检测模型在已知威胁识别任务中展现出较好的性能和自动化水平,但其性能高度依赖大规模标注数据集,且受限于封闭式分类场景,在面对零日攻击及新型恶意软件攻击时力不从心。由于新型恶意软件样本稀少且更新迭代迅速,如何利用有限的历史数据快速构建高精度检测模型成为亟需解决的关键问题。小样本学习模拟人类通过先前经验快速适应新任务的认知过程,使模型仅需少量标注样本即可完成高效学习,为恶意软件检测任务提供了新的研究视角。 已有研究将未知恶意软件检测问题形式化为小样本学习问题,并在使用有限样本训练和实现未知恶意软件检测两方面取得突破。但现有研究仍存在以下两个关键问题:其一,已有方法多局限于单维度特征空间的构建,未能有效融合多维度、多模态的恶意特征以应对样本稀缺问题;其二,对恶意软件分析的领域先验知识整合不足,导致特征工程阶段未能充分挖掘和利用恶意样本的语义与结构信息,得到的原型向量与真实类中心偏差较大,分类性能难以突破瓶颈。本研究围绕上述技术问题开展系统性研究,主要工作包含以下方面: (1)本文提出了一种基于多模态特征融合的小样本恶意软件分类方案,着眼于解决现有方法局限于单一特征的问题。通过构建多通道恶意软件图像与语义清洗后的操作码序列双模态特征,设计注意力机制深入挖掘二进制代码的纹理模式与汇编指令的语义逻辑之间的潜在关联,实现分类性能和可解释性的提升。实验结果表明,该方案能够有效融合二进制序列和汇编代码层次的特征,并且通过图像的直观方式为小样本恶意软件分类提供更多的可解释性。 (2)本文提出了一种基于领域知识和原型优化的小样本恶意软件分类方案。该方案充分考虑恶意软件的多维特性,基于领域知识设计了一种多视角的恶意特征工程方法,系统整合了文件元数据、二进制代码、PE结构和汇编代码等多个维度特征,能够更全面地捕捉恶意软件的行为特征和结构特征,从而增强模型在样本有限的情况下对恶意软件的识别能力。此外,该方案部署了支持-查询原型生成机制,通过融合已知样本和未知样本特征,优化原型生成过程,缓解了因样本不足导致的原型偏差问题。在Large PE和Virus Share数据集上的实验表明,本文所提出的方法在分类性能上均优于现有方法,并且通过消融实验验证了各个模块在整体方案中的有效性。 本文针对小样本恶意软件分类中的两个关键技术问题开展研究,并针对性地提出了相应的解决方案。方案一研究了小样本恶意软件分类中的多模态恶意特征融合问题,通过融合二进制代码和汇编层次特征提升分类性能,同时以图像直观的方式增强模型的可解释性;方案二研究了小样本恶意软件分类中的多维度领域知识构建问题,用更小的训练开销实现了更优的分类性能。本文所提出方法为构建高效、低资源依赖的恶意软件检测系统提供了相关的理论依据与可行的技术路径。

关键词： 下颌骨骨折   目标检测   YOLOv5   Transformer   注意力机制  

摘要： 下颌骨是颌面骨骼中第二大骨区域,下颌骨骨质较硬,但下颌骨正中联合部,左右两侧颏孔区,两侧下颌角以及髁突颈部是下颌骨的结构薄弱区,是骨折的好发部位。使用YOLOv5模型进行辅助诊断,可以有效的提升放射科医生的诊断效率。但由于不同体位、不同部位以及受力程度的不同导致下颌骨骨折区域大小不一,并呈现出骨骼微裂、骨骼嵌插和骨骼断裂等现象,因此骨折区域大小和形状差异较大,定位和识别难度较高。针对上述问题,本文的主要研究如下: （1）由于不同体位、不同部位以及受力程度的不同导致下颌骨骨折区域大小不一,使得现有模型难以准确定位和识别骨折区域。本文提出一种基于多尺度全局特征增强的下颌骨骨折检测模型（M3YOLOv5）,主要创新工作如下:首先,将CNN和Transformer有效结合,弥补CNN全局信息提取能力不足的问题,提高模型对骨折区域的定位能力。其次,将浅层特征中的位置信息通过空间注意力机制补充给深层特征层,将深层特征层中的语义信息通过通道注意力机制嵌入给浅层特征层,提升模型对骨折区域的识别能力。最后,使用不同尺度、不同膨胀系数的深度可分离卷积,为模型提供更丰富的感受野,提高模型对多尺度骨折区域的检测能力。实验结果表明,在下颌骨骨折CT数据集上,提出的M3YOLOv5模型在精确率、mAP值、召回率和F1值分上别达到了97.18%、96.86%、94.42%和95.58%。 （2）由于骨折区域受外力程度和角度不同,呈现出骨骼微裂、骨骼嵌插和骨骼断裂等现象,因此骨折区域大小和形状差异较大,定位和识别难度较高。本文提出Mandible-YOLO模型进行下颌骨骨折区域检测,主要创新工作如下:首先,采用不同尺度的卷积核来提取多感受野特征,提升模型对不同大小骨折区域的感知能力。其次,将具有位置信息的空间注意力机制和包含频域变换的通道注意力机制相结合,提升模型对骨折区域的识别能力。最后,通过在C3模块中引入Transformer机制,该策略增强了模型长距离特征捕获能力,提升了模型对骨折区域的定位能力。实验结果表明,在下颌骨骨折CT数据集上,提出的Mandible-YOLO模型在mAP,Pre,Rec和F1指标上分别达到了97.02%,97.12%,93.82%和95.11%。 （3）开发了面向下颌骨骨折的YOLOv5检测系统,主要工作如下:首先,明确系统的功能需求。其次,依据需求分析,对系统功能进行实现。最后,对系统的功能模块进行测试。

关键词： 视觉目标跟踪   时空信息融合   Transformer   Mamba  

摘要： 视觉目标跟踪是计算机视觉中的一项基础任务,其目标是在给定第一帧目标对象的目标框的条件下,在视频后续的帧对目标进行识别。目标跟踪可以应用在许多领域,包括公共安全领域的视频监控、军事领域中导弹追踪目标和机器人领域的目标感知等。但是由于跟踪环境复杂和目标本身变化多样,跟踪的过程中通常会遇到许多挑战,包括环境光线的变化、障碍物的遮挡、目标运动或者相机运动导致的目标大小改变和目标形状的改变等。所以,跟踪器除了要学习稳健的目标表观特征,还需要感知目标的状态变化和运动趋势来应对上述挑战。然而,当前许多跟踪算法往往热衷于研究目标的表观情况,而忽略了可以感知目标变化和运动的时空信息。所以,本文针对目标跟踪任务中如何高效挖掘时空信息来提升跟踪的精准度进行了深入研究,提出两个时空信息融合的目标跟踪算法: (1)基于Transformer和自回归查询的跟踪算法。当前,许多先进的跟踪算法在提取时空的信息的时候依赖手工制作组件来整合时空信息,导致没有完全利用到时空信息。为了缓解这个问题,本文提出了一个自适应的跟踪算法(AQATrack),采用简单的自回归的查询来高效学习时空信息,没有任何手工制作的组件。首先,本文引入一组可学习、自回归的查询来捕捉一定滑动窗口范围内的瞬时目标表观变化。其次,设计了一个新颖的注意力机制用于现有查询的交互并生成一个新的查询。最后,设计一个时空信息融合模块(STM)来让已带有时序信息的查询来指导空间特征的表达。通过STM对空信息的融合,AQATrack高效地结合了静态的表观和瞬时变化来指导鲁棒的跟踪。 (2)基于Mamba和上下文注意Token的鲁棒时空跟踪算法。如何处理好性能和计算成本之间的平衡是评判一个跟踪器好坏的重要标准。然而,当前著名的跟踪器常采用复杂和耗时的方法来结合时序和表观信息,它们依赖输入更多的图片或者特征来从其中挖掘时序信息。最终,这些方法不仅增加模型的计算资源和学习负担,还引入了许多无用甚至具有潜在干扰能力的信息。针对上述问题,本文提出一个简单但鲁棒的跟踪算法,它把表观建模和时序信息学习分离开,其中时序信息来自于一组代表性的Token而不是几张图片或者特征。具体地,跟踪器为每一帧引入一个跟踪Token来在骨干网络中收集目标的表观信息。然后,设计一个基于Mamba的时序模块来让当前帧的跟踪Token在与一定时间范围内的其他Token进行交互,这样模型就可以感知到视频中的上下文信息。时序模块主要包括一层拥有自回归特性的Mamba层和一层能全局感知的交叉注意力层,确保跟踪Token能充分交互并感知到目标表观的变化和运动趋势。最终,跟踪Token指导表观特征调整,在预测头中进行跟踪预测。 本文在LaSOT、GOT-10k和Tracking Net等六个目标跟踪公共数据集上进行了实验,两种跟踪算法均取得了先进水平,表明本文提出的时序信息挖掘方法提高了跟踪器对目标的判别能力。