关键词： 文档智能   预训练模型   自然语言处理   计算机视觉   深度学习  

摘要： 视觉富文档指语义结构不仅由文本内容决定,还与排版格式和表格结构等视觉元素相关的文档。现实生活中的票据理解和证件识别等应用场景,都需要对视觉富文档进行自动化的阅读、分析和处理。这一过程即为视觉富文档理解,属于自然语言处理和计算机视觉的交叉领域。近年来,视觉富文档理解领域的预训练技术在打破下游任务的训练壁垒和提升模型表现上取得了重大的进展。然而,目前对现有的预训练模型的归纳总结和深入分析仍然有所欠缺。为此,对视觉富文档理解领域预训练技术的相关研究进行了全面总结。首先,介绍了预训练技术的数据预处理阶段,包括预训练数据集和光学字符识别引擎。然后,对预训练技术的模型预训练阶段进行了阐述,提炼出单模态表示学习、多模态特征融合和预训练任务3个关键的技术模块,并基于上述模块归纳了预训练模型之间的共性和差异。此外,简要介绍了多模态大模型在视觉富文档理解领域的应用。接着,对预训练模型在下游任务上的表现进行了对比分析。最后,探讨了预训练技术面临的挑战和未来的研究方向。

关键词： 路侧目标检测   多尺度序列   特征融合   轻量级   YOLOv8n  

摘要： 针对现有模型在城市交通场景下的路侧目标检测任务中,对小目标和受遮挡目标的检测精度低以及模型参数量多等问题,提出基于多尺度序列融合的轻量级路侧目标检测算法MQ-YOLO。该算法为了在增强算法特征表达能力的同时保持检测速度,设计了多分支特征提取D-C2f模块;为了促进多尺度序列的特征图信息的融合,提高对小目标的特征提取能力,构造了多尺度序列融合(PSF)模块对特征融合层进行重构;为了加强对受遮挡目标的显著语义信息的关注,引入多重注意力机制的检测头;此外,还引入基于归一化Wasserstein距离的损失函数,增强模型的检测性能。在DAIR-V2X-I路侧数据集上的实验表明,MQ-YOLO与基准YOLOv8n算法相比,平均均值精度(mAP@50)提高3.9百分点,mAP@(50~95)提高6.0百分点,参数量为3.96 Mbit。在DAIR-V2X-SPD-I数据集上的实验表明,该算法具有良好的泛化性。在路侧端部署时,检测速度可以达到62.5 frame/s,满足城市交通场景下的路侧目标检测和边缘部署需求。

关键词： 目标检测   CenterNet   扬尘污染源   特征融合   轻量化模型  

摘要： 近年来,人工智能、图像识别技术在扬尘污染源的监测和管理上发挥着越来越重要的作用。为实现轻量化高精度的扬尘污染源检测,提出一种基于CenterNet的轻量级扬尘污染源目标检测方法。首先,为解决图像中部分目标漏检问题,提出基于一次性聚集扩张的扬尘污染源检测方法,使用一次性聚集扩张模块替代常规卷积,在扩大感受野的同时获得包含不同接受域的特征,降低了检测的平均漏检率;其次,针对监测网络的轻量化需求,引入MobileNet并加入集中特征金字塔实现特征融合,由此提出基于集中特征金字塔的轻量级污染源检测方法 mCFP-CenterNet;最后,构建一个扬尘污染源图像数据集,并在该数据集和PASCAL VOC 2007数据集上进行实验。结果表明,该方法在推理时间、计算量、参数量、平均漏检率等评价指标上与其他方法相比效果更好,可满足轻量级和高精度的应用需求。

关键词： 遥感卫星图像   注意力机制   目标检测   特征融合   深度学习(DL)  

摘要： 为解决遥感卫星图像目标检测中背景复杂、目标尺寸复杂和小目标检测困难等问题,提出YOLOv5-RTBBS检测算法,使模型在遥感图像分析中具有更高的精确度和健壮性。首先,将RepConv、Transformer Encoder和BiFPN模块整合到原始YOLOv5网络中,使不同尺度目标的检测精度得到提高。其次,通过引入BAM(Bottleneck Attention Module)注意力机制到C3模块来应对复杂背景区域的干扰。最后,将SIoU(Scaled-IoU)损失函数集成到YOLOv5s中以精确定位较小的目标。实验结果表明,改进后的YOLOv5s算法在遥感卫星图像数据集上的各项指标均有所提升,优于其他现有算法的性能。

关键词： 目标检测   在线课堂   听课行为识别   性能优化   特征融合  

摘要： 目前目标检测技术日趋成熟,但是针对在线听课行为的识别仍存在挑战。针对在线课堂人为监管力度不足、目标检测模型复杂度较高所导致的在线课堂行为识别不精准、模型计算量较高等问题,提出一种基于改进的YOLOv8在线听课行为检测与识别方法。首先在YOLOv8n的基础上添加BiFPN双向特征金字塔网络来进行特征融合,以增加特征提取的能力,提高模型识别准确度;其次在Head端采用C3Ghost模块替代C2f模块,以大幅减少模型计算量。实验结果表明,提出的YOLOv8n-BiFPN-C3Ghost模型在线上听课行为数据集上的mAP@0.5和mAP@0.5∶0.95指标分别为98.6%和92.6%,相比其他课堂行为识别模型在精度上最高提升了4.2%和5.7%,计算量为6.6 GFLOPS,比原模型降低了19.5%。YOLOv8n-BiFPN-C3Ghost模型能以更低的运算成本精确地实现在线听课行为的检测和识别,可以实现对学生在线课堂学习情况的动态、科学识别。

关键词： 目标跟踪   轻量级网络   孪生网络   无人机  

摘要： 在视觉跟踪领域,大多数基于深度学习的跟踪器过分地强调精度,而忽视了算法速度.因此,这些算法在移动平台上的部署(无人机),受到了阻碍.在本文中,提出了一种基于Siamese的深度交叉指导跟踪器(SiamDCG).为了更好地在边缘计算设备上部署,在MobileNetV3-small的基础上设计了独特的backbone结构.此外,针对无人机场景的复杂性,传统使用狄拉克δ分布预测目标框的方式有很大的弊端,为了克服边界框存在的模糊效应,Siam DCG将回归框分支转为预测偏移量的分布,并且用学习到的分布去指导分类的准确性.在多个无人机benchmark上的优秀表现,都显示了其鲁棒性与高效性.在Intel i512代CPU上,SiamDCG运行速度是SiamRPN++的167倍,使用的参数仅为它的1/98,FLOPs是1/410.

关键词： 光学飞机目标检测   卷积神经网络   YOLOv5   Ghostnet  

摘要： 停泊飞机目标检测对机场交通管控、重点军事基地部署掌握、监控敌方实时军事动态等军民领域均具有重要意义。飞机目标检测需要综合考量检测精度与检测速度两个方面,本文将YOLOv5骨干网络中的C3模块和部分卷积模块替换成Ghost Bottleneck,从而将Ghostnet引入YOLOv5s网络中,取得很好的检测效果。在检测精度上,mAP0.5达到了95.34%,mAP0.5-0.95达到了61.6%,网络的精度达到了96.89%,召回率达到了91.42%。在检测速度上,网络的FPS达到了66.67。

关键词： 苹果识别   目标检测   YOLOv8   Mamba  

摘要： 针对自然果园环境下苹果果实的识别,本文提出了一种改进YOLOv8n模型的轻量化苹果检测算法.首先,通过使用DSConv和FEM特征提取模块的组合来替换主干网络中的部分常规卷积进行轻量化改进,缩减卷积过程中的浮点数和计算量;为了在轻量化过程中保持性能,在特征处理的过程中,引入结构化状态空间模型构建CBAMamba模块,使用Mamba结构高效处理特征;此后将检测头处的卷积替换为RepConv,并减小卷积层;最后,更改边界框损失函数为动态非单调聚焦机制WIoU,提高模型收敛速度,进一步提升模型检测性能.实验表明,在公开数据集上,本文提出的YOLOv8改进算法比原始YOLOv8n算法分别提升1.6%的mAP@0.5和1.2%的mAP@0.5:0.95,与此同时提升了8.0%的FPS并降低了13.3%的模型参数量,轻量化的设计使之在机器人和嵌入式系统部署领域具有较强的实用性.

关键词： YOLOv7-tiny   目标检测   表面缺陷   GSConv   MPDIoU  

摘要： 针对带钢表面缺陷检测任务存在的小目标检测效率低、缺陷定位不准确、检测算法参数量大、难以部署在终端设备上等问题,提出一种改进的YOLOv7-tiny检测算法。首先,使用GSConv替换颈部网络中的标准卷积,基于GSConv设计一种改进的高效聚合网络(ELAN-G),保证带钢表面缺陷特征信息被充分融合同时降低算法的参数量;其次,在预测头和颈部网络之间增加针对低分辨率和小缺陷的SPDConv模块,模块生成一个中间特征图,通过对中间特征图中的小缺陷特征信息进行过滤学习得到最终特征图,以此提高预测头对小缺陷的检测精度;最后,引入MPDIoU损失函数,合理利用边界回归框的几何性质,简化损失函数计算过程并提高缺陷定位精度。实验结果表明,在NEU-DET数据集上,改进算法比其他6种先进目标检测算法效果更好,性能更均衡,其平均精度均值(mAP)可达74.1%,且参数量和计算量低于所有对比算法,可应用于工业环境中的带钢表面缺陷检测系统。

关键词： 深度学习   目标检测   计算机视觉   检测算法  

摘要： 目标检测是计算机视觉领域中的重要任务,被广泛应用于身份识别、数量统计、位置确定等领域。随着计算资源的增长,深度学习已经替代了大部分的传统图像算法,在目标检测领域上取得了很大的进展。然而,目标检测依然面临诸多挑战,如物体尺寸不一、背景复杂、排列密集、方向任意等,这些问题使现有的检测框架依然有提升的空间。尽管如此,目标检测的算法经过发展已经有了很大的提升,并且在各种领域起到了巨大的作用。