关键词： 深度学习   图像数据增强   图像识别   泛化性能   计算机视觉  

摘要： 深度学习已经在许多计算机视觉任务中取得了显著的成果.然而,深度神经网络通常需要大量的训练数据以避免过拟合,但实际应用中标记数据可能非常有限.因此,数据增强已成为提高训练数据充分性和多样性的有效方法,也是深度学习模型成功应用于图像数据的必要环节.系统地回顾不同的图像数据增强方法,并提出一个新的分类方法,为研究图像数据增强提供了新的视角.从不同的类别出发介绍各类数据增强方法的优势和局限性,并阐述各类方法的解决思路和应用价值.此外,还介绍语义分割、图像分类和目标检测这3种典型计算机视觉任务中常用的公共数据集和性能评价指标,并在这3个任务上对数据增强方法进行实验对比分析.最后,讨论当前数据增强所面临的挑战和未来的发展趋势.

关键词： 识别   目标检测   计算机视觉   轻量化模型   青杏   自动化农业  

摘要： 为解决青杏识别易受田间复杂环境、设备计算资源等限制的问题,该研究提出一种MCBPnet轻量化青杏识别模型。该研究使用MobileNetV3轻量化网络结构代替YOLOv8的主干特征提取网络,降低了模型的复杂程度;在MobileNetV3网络中融入CBAM(convolutional block attention module),在颈部网络引入了BiFPN(bi-directional feature pyramid network)结构,提高模型对青杏图像的特征提取和融合的能力;检测头部分采用了PConv(partial convolution)结构,以提高模型的鲁棒性和检测精度。将MCBPnet模型应用于青杏检测试验,结果表明,MCBPnet模型的检测速度为109.890帧/s,与YOLOv8n模型相比提高了70.33%,模型运算量为6.1 G,为YOLOv8n模型的75.31%,并且精确度(precision,P)和平均精度值(mean average precision,mAP50)达到了0.988和0.994,模型具有较高的检测精度,同时实现了模型的轻量化。MCBPnet模型实现了对青杏果实的高效、精确的实时检测,为青杏的自动化识别和采摘提供了技术支持。

关键词： 图形增强   深度学习   海上油田   ROV   目标检测  

摘要： ROV是水下工程作业的重要工具,在海上油田开发生产中具有广泛的应用。图像是ROV获取水下设备表面信息的重要载体,受水下环境的影响,光在水中传播发生散射、折射现象,导致ROV水下目标图像存在失真模糊和分辨率低等问题。为此,开展水下图像增强处理和目标设施检测研究能够改善检测精度,提高ROV的自主能力。

关键词： 自然环境   葡萄   多模态   语义分割   目标检测  

摘要： 葡萄果实的采摘点定位准确率依赖于目标检测和语义分割网络的性能。然而,在实际应用场景中,基于可见光图像的葡萄果实目标识别准确率和分割精度易受光照变化、复杂环境影响,往往表现不佳,且葡萄果实成串生长,现有苹果、梨子等多模态数据集难以满足串形葡萄果实的识别需求。构建基于可见光、深度、近红外的葡萄多模态目标检测和语义分割数据集,对于探索更高识别率和更强泛化能力的葡萄果实目标检测和语义分割模型至关重要。本数据集约39.08 GB,共收集了在不同光照和遮挡条件下青色、紫色两类6个品种的葡萄高质量多模态视频流数据,并从中提取3954张图像样本进行语义分割和目标检测标注。在使用旋转、缩放、错切、平移,以及高斯模糊等图像增强手段下,可满足主流深度学习模型训练需要。本数据集可为多模态视觉数据融合、葡萄果实语义分割和目标检测等领域提供宝贵的基础数据资源,对促进农机装备智能化领域研究具有重要的实际应用价值。

关键词： 深度学习   目标检测   防震锤   YOLOv4   MobileNet   V2  

摘要： 针对高压线路巡检中防震锤的识别定位与丢失检测,提出一种基于改进YOLOv4的算法模型。首先根据收集而来的巡检图像做有目的地数据增强,扩大数据集。然后融入迁移学习思想,在模型训练过程中使用预权重以及进行冻结训练。最后将YOLOv4原始主干特征提取网络替换成轻量型网络MobileNet V2,将深度可分离卷积运用于网络中,大大减少参数量。对实验结果进行对比分析,改进后的算法模型综合性能表现良好,也符合巡检要求。

关键词： 农业病虫害识别   改进PP-YOLO   深度学习   计算机视觉   目标检测  

摘要： 在农业生产活动当中,病虫害对粮食的产量产生了很大的影响。在无人机中利用计算机视觉精准识别病虫害为农业生产提供了保障,但是同时也带来了目标太小、精准度不高的问题。针对此问题,通过在PP-YOLO网络的基础上引入注意力机制SENet(Squeeze-and-Excitation Networks),增强其主干网络的特征提取能力,提高小目标番茄叶斑病的识别准确率。经过试验表明,该文所提出的方法在PlantVillage中番茄叶斑病数据集上的检测性能优于PP-YOLO,平均精度达到86.44%,具有一定的应用价值。

关键词： 特征融合   Transformer   目标跟踪   特征优化   目标分类  

摘要： 近年来判别相关滤波器(DCF)在视觉跟踪领域取得了巨大的成功,然而大多数相关滤波跟踪器仅依赖主干网提取的最后一层特征,忽视了低层丰富的目标结构信息。基于此,提出了一种基于特征融合模块和Transformer结构模型预测器的目标跟踪算法。引入了一个金字塔形的特征融合模块,能有效整合低层特征和高层特征。使用采用非对称位置编码方案的Transformer结构预测目标模型权重,以释放模型的表达能力。提出了一个特征优化模块以根据模型权重优化搜索特征。与现有的方法相比,该算法实现了更优的特征表示和更准确的目标定位。在Tracking-Net、LaSOT和UAV123三个主流数据集上的实验结果表明,跟踪器获得了突出性能。

关键词： 多模态目标检测   跨模态   特征精细化  

摘要： 传统卷积特征融合方法(如CNN)因局部感受野的限制,难以捕获模态间长距离特征关系,同时对图像错位敏感;而Transformer虽具备全局建模能力,但直接堆叠会导致计算复杂度和参数量激增。ICAFusion通过迭代跨模态注意力机制部分解决了这些问题,但仍存在不足:1) 跨模态特征增强模块(CFE)缺乏动态权重调整,对模态间质量差异适应性不足;2) 迭代特征增强模块(ICFE)在局部特征优化和精细化处理方面能力有限。为此,本文提出一种改进的多模态特征融合框架。在CFE模块中加入动态门控机制和注意力遮掩策略,自适应平衡模态特征贡献并过滤无效信息;在ICFE模块中引入精细化特征优化模块(FRFM),结合局部卷积、线性变换和门控机制对特征进行细化优化,提升模态互补性和特征表达能力。实验结果表明,改进后的模型在KAIST和FLIR数据集上的目标检测精度和鲁棒性显著提升,在FLIR上高阈值指标mAP75和mAP50-95分别提升了2.7%和2.4%。Traditional convolutional feature fusion methods (e.g., CNNs) are limited by local receptive fields, making it difficult to capture long-range relationships between modalities and sensitive to image misalignments. While Transformers possess global modeling capabilities, stacking them directly leads to increased computational complexity and parameter overhead. ICAFusion partially addresses these issues through an iterative cross-modal attention mechanism. However, it still has the following limitations: 1) The Cross-modal Feature Enhancement (CFE) module lacks dynamic weight adjustment, making it less adaptive to quality differences between modalities;2) The Iterative Cross-modal Feature Enhancement (ICFE) module has limited capabilities in local feature optimization and fine-grained processing. To address these shortcomings, this paper proposes an improved multimodal feature fusion framework. In the CFE module, a dynamic gating mechanism and attention masking strategy are introduced to adaptively balance modal feature contributions and filter out irrelevant information. In the ICFE module, a Fine-grained Feature Refinement Module (FRFM) is incorporated, which combines local convolution, linear transformation, and gating mechanisms to refine features, enhancing modality complementarity and feature representation capabilities. Experimental results demonstrate that the improved model significantly enhances object detection accuracy and robustness on the KAIST and FLIR datasets. Specifically, on the FLIR dataset, the high-threshold metrics mAP75 and mAP5

关键词： 计算机视觉   可见光红外图像迁移   改进CycleGAN   LPIPS   代理注意力机制  

摘要： 将可见光图像转换为红外图像能够提供额外的环境信息,提升系统的感知能力和决策精度,因而在安防监控、医学影像、遥感等领域具有重要的应用价值。传统的Cycle Generative Adversarial networks(CycleGAN)在处理此类转换时,常面临细节丢失和伪影等问题,限制了其在高质量图像生成上的表现。文中提出了一种基于改进CycleGAN的可见光红外图像迁移算法,旨在解决可见光图像转换为红外图像的色彩失真、细节模糊等问题。设计的网络结构在生成器中集成了代理注意力机制,增强了模型对图像细节和全局结构的捕捉能力。同时,引入Learned Perceptual Image Patch Similarity(LPIPS)作为循环一致性损失函数,有效提升了生成图像在内容和风格上的一致性。此外,还对判别器进行了优化,采用了PatchGAN架构,并引入ContraNorm模块,提高了判别器对图像细节的敏感性,增强了其对生成图像真实性的评估能力。对比结果表明,改进后的模型在可见光图像到热红外图像的转换任务上,无论是视觉质量还是定量评估指标均较传统CycleGAN有显著提升。

关键词： 无人机(UAV)   可见光-热红外(RGB-T)多源目标检测   数据集   多源特征融合   YOLOv8  

摘要： 基于无人机(Unmanned Aerial Vehicle,UAV)平台的可见光(Red Green Blue,RGB)和热红外(Thermal infrared,T)多源目标检测,可实现全天时、全天候的目标侦察,在军用和民用领域有着重要的应用价值.受限于数据拍摄获取和处理的复杂性,当前少有公开的UAV视角RGB-T多源目标检测数据集,一定程度上限制了UAV视角RGB-T多源目标检测算法的研究和应用.与此同时,UAV应用场景复杂多变,其飞行高度、速度、焦距和背景等快速变化,所拍摄目标在图像上呈现出尺度多样、稠密/稀疏分布不均衡、类别不平衡等特点,具有一定的挑战性.此外,在诸如目标侦察、交通监控等高时效性应用场景中,算法需在保证高精度的同时实现实时目标检测,因此,算法的设计必须充分考虑精度与速度之间的平衡.针对上述问题,本文构建了一个跨季节、跨昼夜、多类别、多尺度的大规模UAV视角RGB-T多源图像数据集UAV-RGBT,包含20个类别、5117对RGB-T图像和超11万个标注,有助于推进UAV视角多源目标检测算法的研究.同时,基于YOLOv8n模型,本文提出了一种UAV视角多源目标检测(UAV-based Dualbranch Multispectral object Detection,UAV-DMDet)模型,其通过多源交叉注意力融合和多源特征分解组合方法有效促进了多源特征的深度融合,较好地实现了模型参数量、检测速度和检测精度的均衡.实验结果表明:在UAVRGBT数据集上,UAV-DMDet模型较单源YOLOv8n模型,在RGB和T模态方面,mAP@0.5分别提高了3.61%、11.03%,mAP@0.5:0.95分别提高了0.84%、6.76%;在DroneVehicle数据集上,mAP@0.5和mAP@0.5:0.95较主流算法I2MDet提高了2.66%和12.36%;在检测速度方面,以640×640分辨率图像为例,UAV-DMDet模型在单张GeForce RTX 3090显卡上FP32精度推理速度可达31帧/s,在华为昇腾710处理器上FP16精度推理速度可达58帧/s,可有效应用于UAV视角RGB-T多源实时目标检测任务.