关键词： 深度学习   分类和分割网络   目标检测   脑胶质瘤诊断   核磁共振成像  

摘要： 脑胶质瘤是一种致死率极高的原发性颅内恶性肿瘤,实现术前无创诊断对脑胶质瘤的治疗和预后具有重要意义。本文提出一种目标检测技术辅助的脑胶质瘤分割分类网络,基于多模态三维MRI实现对脑胶质瘤区域的分割和WHO分级(Ⅱ/Ⅲ/Ⅳ)、IDH突变状态分类以及1p19q缺失状态分类。本文引入目标检测技术获取肿瘤区域的定位信息用于辅助分割和分类,同时还引入SPP、FPN等模块提升模型性能。模型在EGD数据集中的664个脑胶质瘤病例进行训练,最终在测试集上,胶质瘤分割的Dice系数达到0.88,WHO分级、IDH突变状态以及1p19q缺失状态分类准确率分别达到:0.80、0.72、0.90。与PSNet、ResNet50、Unet+ResNet50模型进行对比实验,验证了本文模型的有效性。同时,针对目标检测模块、SPP模块和FPN模块进行消融实验,验证了引入模块的作用。实验结果表明,本文提出模型可有效进行脑胶质瘤术前多任务诊断,对脑胶质瘤的治疗和预后有帮助作用。

关键词： 机器视觉   水下目标检测   轻量级网络   特征冗余   深度可分离卷积   多尺度特征提取   优化器  

摘要： 针对一般机器视觉检测算法在复杂海洋环境场景下难以识别等问题,提出一种适用于水下目标检测的轻量级网络YOLOv8-GD。设计C2fGhostv2将C2f中的残差模块替换为轻量级网络模块GhostNetv2,借此精简网络参数并减少通道中的特征冗余;设计深度可分离卷积多尺度特征提取模块,联合多尺度特征信息,增强模型的特征提取能力;用Lion优化器协助模型训练,提升模型训练性能。在RUOD数据集上验证YOLOv8-GD的检测性能,实验结果表明,该模型的F1-score达81.3%,mAP@0.5达84.1%,满足实时水下目标检测要求。

关键词： 图像复原增强   视觉大模型   多模态大模型(LMM)   视觉Transformer(ViT)   扩散模型   X-anything   计算机视觉  

摘要： 图像在拍摄、传输和存储过程中常会出现退化情况,影响视觉感知和信息理解。图像复原增强旨在将降质图像恢复为干净图像,以提升视觉感知体验,并提高如语义分割和目标检测等计算机视觉任务的精度,在自动驾驶和智能医疗等数据敏感的应用场景有重要作用。视觉及多模态大模型在多个领域取得重要进展,并在图像复原增强任务中展现出巨大潜力。对此,本文系统总结并分析近年国内外图像复原增强领域应用视觉(大)模型和多模态大模型的重要研究进展。1)总结介绍基于ViT(vision Transformer)的图像复原增强方法,探讨ViT在处理图像退化和增强方面具有的长距离依赖潜力;2)阐述基于扩散模型的图像复原增强方法,讨论其在处理复杂图像退化和恢复细节方面的优势;3)分析X-anything模型在图像复原增强任务上的潜力,尤其是SAM(segment anything model)等视觉大模型在退化样本上提供的鲁棒零样本预测先验信息能力;4)介绍多模态大模型,如CLIP(contrastive language image pre-training)和GPT-4V在图像复原增强任务中的应用,展示这些预训练模型在图像复原过程中所提供的语义信息指导能力;5)分析当前图像复原增强技术面临的挑战,如数据获取困难、计算资源需求高和模型稳定性不足等,同时展望图像复原增强技术的发展方向,为未来的研究和应用提供新的思路和参考。

关键词： 动态特征   运动估计   目标检测   目标跟踪   ByteTrack  

摘要： 利用可见光图像对海上弹着点水柱进行有效检测与跟踪,是实现海上自动检靶的核心。由于相机的运动、焦距的调节以及水柱的变化,现有的检测与跟踪算法依然存在较高的误报率和身份切换次数(Identity Switch Times, IDs)。为解决上述问题,提出一种基于动态特征的海上弹着点水柱检测跟踪算法。利用YOLOv8目标检测器对静态水柱进行检测,通过在浅层特征图上增加小目标检测头,增强模型对小水柱的检测能力;利用改进的ByteTrack跟踪器对水柱进行跟踪,将相机运动和卡尔曼滤波相结合,补偿由相机运动引起的跟踪偏移;结合水柱形成阶段的时空特征,采用支持向量机进行综合决策,实现对水柱的判断。实验结果表明,与传统的检测跟踪算法相比,新算法在多目标跟踪准确度、识别平均数比率和多目标跟踪精确度这3个关键性能指标上分别提升了7.8%、5.1%和0.9%;误报数减少了112次,IDs数和误检数均降至0,表明新算法不仅能够精确地检测和跟踪水柱,还能够有效地排除其他干扰因素,在整体性能上实现显著的增强。

关键词： Faster R-CNN   目标检测   机器视觉   EfficientNet  

摘要： 针对传统Faster R-CNN目标检测方法在油菜幼苗图像多目标任务中检测精度和效率较低的问题,本文提出一种基于FEPW R-CNN的多目标检测方法。使用EfficientNet网络取代传统的ResNet-50骨干网络,以增强模型的特征提取能力;结合了PANet上下文信息增强模块,进一步融合了自下而上的路径增强;采用WIoU损失函数替换原有损失函数,使网络在训练过程中更加关注高质量的候选框,从而提高目标定位和分类的准确性。通过油菜幼苗数据集验证,本文所提方法取得了85.42%的mAP@0.5,显著优于传统方法和单阶段算法,为复杂场景下的多目标检测提供了高效且高精度的解决方案。

关键词： 户外导盲   目标检测   轻量化   通道剪枝   YOLOv8n  

摘要： 针对户外导盲场景中道路目标检测存在的复杂背景干扰及关键语义信息需求,当前目标检测算法在道路目标检测中表现出较低的准确性以及容易出现漏检的问题,为此提出一种基于YOLOv8n的道路目标检测算法OD-YOLO。基于FasterNet和SPPF构建主干网络;使用FasterNet以增强特征提取能力,在SPPF模块中引入可分离大核注意力机制(large separable kernel attention,LSKA)以提高算法对道路目标整体的感知能力。提出一种新的C2f模块GAC2f,在减小模型计算量的同时提高其特征捕获能力,同时通过使用多样分支模块(diverse branch block,DBB)中结构重参数化思想优化GAC2f,在不损失模型性能的前提下,融合多种特征信息以显著提高模型精度,另一方面使用卷积门控线性单元(convolutional gated linear unit,Convolutional GLU)改进LarK中的大核卷积以优化GAC2f,使模型能够捕获更多上下文信息。提出一种轻量级非对称检测头PADH,在提高模型性能的同时减少参数量,并使用PIoUv2改进原有的损失函数,通过基于层自适应稀疏度的量级剪枝(layer-adaptive sparsity for the magnitude-based pruning,LAMP)操作进一步优化算法模型。实验结果表明,在公共人行道路目标数据集WOTR上,OD-YOLO与YOLOv8n相比,经过剪枝后模型参数量同为3×10^(6),但mAP@0.5、mAP@0.5:0.95分别提升3.4和4.1个百分点,证明算法OD-YOLO在面向户外导盲场景的道路目标检测中可以达到预期的效果。

关键词： 图形图像   教学方法改革   OBE理念   PBL项目法   混合模式   职业教育  

摘要： 近年来,国家高度重视职业教育的发展,大力推进职业教育改革。职业院校学生往往呈现出“理论基础薄弱,实践技能较强”的特点,然而,图像处理课程的特殊性导致其教学效果难以满足社会需求。随着人工智能、超高清图像技术、电子商务等新兴产业的快速发展,社会对图像处理技术人才的需求与日俱增,对技能人才的知识、能力和素养也提出了更高要求。为了更好地推进课程改革、激发学生的学习兴趣、培养高素质人才,笔者在图形图像处理课程教学中探索了OBE+PBL混合式教学模式。

关键词： 多目标跟踪   卡尔曼滤波   上下文协同   组合距离  

摘要： 在智能驾驶和视频监控领域中,多目标跟踪被广泛应用,但在目标发生遮挡和非线性运动时,此时产生的噪声会造成检测和跟踪精度的降低,同时众多关联匹配算法也没有考虑到IoU和外观失衡的情况。针对以上问题,提出一种基于TransCenter改进的多目标跟踪网络。引用小波变换处理检测特征,设计了上下文协同选择器,通过动态选择跟踪特征和检测特征来缓解噪声产生的负面影响;融合卡尔曼滤波预测值和跟踪位移,以提高非线性运动中的预测位移准确度;根据IoU距离和外观距离的差值优化组合距离的权重,解决了高速运动和外观剧烈变化时组合距离失效的情况。在BDD100k、DanceTrack数据集上进行了实验,结果表明,与ByteTrack算法相比,改进网络的mMOTA和HOTA值分别提升了4.3和5.9个百分点,与TransCenter相比,HOTA提升了7.4个百分点,且有着更好的灵活性和跟踪精度。

关键词： 调度命令   图像处理   光学字符识别   深度学习   边缘检测  

摘要： 调度命令是铁路运输调度指挥工作的核心指令,准确、快速地传达调度命令,是保障铁路系统在复杂运营环境中安全、高效、有序运转的前提条件。目前,铁路运输生产中存在诸多书面调度命令传递的场景,需要由人工读取书面调度命令信息,并完成相关数据录入,耗时费力、效率较低,且易出现信息错误录入和漏传等问题。基于书面调度命令的特点,文章研究书面调度命令信息智能识别与提取方法,将图像分割处理与经典光学字符识别(OCR,Optical Character Recognition)算法相结合,增强对表格结构和文本内容的识别能力,更为精确地分割、定位和识别书面调度命令中的文字信息;并结合调度命令模板和用语规范,完成关键信息的提取。实验结果表明,在字符识别前先进行表格分割处理,对于提高调度命令文字识别准确率效果显著,便于后续调度命令结构化数据的自动提取。

关键词： 深度学习   目标检测   行人检测   YOLOv8   轻量化改进  

摘要： 针对密集场景中行人遮挡和尺度较小导致的漏检问题,提出了一种基于YOLOv8(You Only Look Once version 8)的改进行人检测算法。首先,使用GhostConv(Ghost Convolution)代替部分Conv,减少模型的参数量;其次,融合GSConv(Group Shuffled Convolution)模块,在降低模型复杂度的同时保持精度;最后,引入SNs(Slim-Neck solution)模块,解决行人遮挡等原因导致的漏检问题,提升了行人检测精度。将该算法应用于WiderPerson(行人检测数据集),实验结果表明,相较于原始YOLOv8算法,其在mAP@0.5指标上提升了2.5百分点,同时在更为严格的mAP@0.5:0.95指标上也实现了2.1百分点的精度提升。改进的算法可以较好地应用于拥挤行人检测任务。