关键词： 视觉SLAM   语义分割   目标检测   语义地图  

摘要： 目的视觉SLAM作为自动驾驶和移动机器人的核心技术之一,传统算法无法应对高度动态的环境,也缺乏地图的语义信息,解决动态物体对SLAM系统的影响是研究的主要目标,也是当前热点问题之一。方法提出一个新的基于YOLOv8同步动态检测与局部语义分割的方法,来实现动态环境下的位姿估计与局部语义建图。首先,通过应用YOLOv8对输入图像进行同步动态检测和语义分割,使用目标检测结果的目标框对动态特征点进行剔除,再运用静态特征点进行姿态估计,然后在系统的语义建图线程中,对语义分割后的图像加入扩张掩模,最后使用点云库进行语义地图的构建,从而产生能够应用于实际场景的语义地图。结果在TUM数据集中进行了比较试验,数据显示:这种方法相对于传统方法能提高98.1%的位姿准确率,并且在实时性测试中,本文算法的速度也优于同类算法,而且可以在同一时间创建出局部语义地图。结论基于YOLOv8同步动态检测与局部语义的方法来处理常规场景下的动态物体对SLAM系统的影响十分有效,且实时性高,但对于一些特殊场景如摄像机大幅旋转等,由于目标检测的失效而导致动态特征剔除失败,从而系统精度降低。

关键词： 激光雷达   三维目标检测   通道注意力   空间注意力   点云自注意力  

摘要： 针对目前基于点与体素混合的激光雷达三维目标检测算法对小目标检测性能差的问题,提出一种基于多注意力机制的三维目标检测算法(MA-RCNN);以PV-RCNN为基准算法,首先引入通道注意力机制处理体素被压缩后的鸟瞰图特征,从而使空间信息扩散到特征通道层次;其次引入空间注意力机制来放大局部重要信息,从而增强特征的表达能力;然后在细化候选框网络中设计点云自注意力机制来构建关键点之间的相互关系,从而增强算法对空间结构的理解能力;在KITTI数据集中的实验结果表明,相比于基准算法,MA-RCNN对小目标的行人和骑行者的平均精度均值分别提高3.20百分点和1.64百分点,表明其有效性。相比于目前主流的三维目标检测算法,MA-RCNN仍达到较好的检测性能,表明其先进性。将MA-RCNN部署在实车硬件平台进行在线检测,结果验证了其工业价值。

关键词： 视觉目标跟踪   时空特征强化   全局-局部信息关联   时空特征感知   动态模板  

摘要： 多数基于Transformer的目标跟踪模型提取的目标局部空间特征信息有限且时间特征利用不足,显著影响了目标跟踪模型在处理目标遮挡、形变或尺度变化等复杂场景下的性能。为此,提出一种时空特征强化与感知的视觉目标跟踪方法(visual object tracking method with spatial-temporal feature enhancement and perception,STFEP)。一方面,该方法使用Transformer进行搜索区域与时间上下文特征的提取与融合,以得到全局特征信息,通过设计的局部卷积神经网络,提取目标的局部特征信息,并与目标的全局特征信息相关联,进一步强化目标的特征表示。另一方面,提出了时空特征感知机制,对不同时刻的特征信息进行可靠性和必要性分析,构建动态模板以感知更丰富的时空信息,使模型适应目标及场景的复杂变化。在TrackingNet、GOT-10k、LaSOT、UAV123多个数据集上的实验结果表明,研究所提方法能够准确鲁棒的对目标进行跟踪,并在GOT-10k数据集上取得了最优的结果,AO、SR 0.5以及SR 0.75分别达到了73.7%、83.8%、70.6%。

关键词： 红外双目视觉   目标检测   目标匹配   卷积网络  

摘要： 特殊环境下道路目标的三维感知对汽车的全天时、全气候自动驾驶具有重要意义,红外双目视觉模仿人眼实现微光/无光等特殊环境下目标的立体感知,目标检测与匹配是双目视觉立体感知的关键技术。针对当前分步实现目标检测与目标匹配的过程冗杂问题,提出了一个可以同步检测与匹配红外目标的深度学习网络——SODMNet(Synchronous Object Detection and Matching Network)。SODMNet融合了目标检测网络和目标匹配模块,以目标检测网络为主要架构,取其分类与回归分支深层特征为目标匹配模块的输入,与特征图相对位置编码拼接后通过卷积网络输出左右图像特征描述子,根据特征描述子之间的欧氏距离得到目标匹配结果,实现双目视觉目标检测与匹配。与此同时,采集并制作了一个包含人、车辆等标注目标的夜间红外双目数据集。实验结果表明,SODMNet在该红外双目数据集上的目标检测精度mAP(Mean Average Precision)提升84.9%以上,同时目标匹配精度AP(Average Precision)达到0.5777。结果证明,SODMNet能够高精度地同步实现红外双目目标检测与匹配。

关键词： 森林防火   无人机   图像处理   BP神经网络  

摘要： 对无人机设计方案、图像处理和火焰分割算法的技术原理进行了介绍,并利用BP神经网络对图像中的火焰面积变化率和火焰尖角等特征进行识别,实现了对森林火灾的快速监测。实验结果表明:系统的准确率为98.5%,比普通神经网络的84.5%更高;耗时仅22 s,比普通神经网络159 s缩短很多。这表明,BP神经网络是更可靠且更有效率的火灾识别方案。

关键词： 深度学习   目标检测   算法设计   Bi-LSTM   变电站   违章识别  

摘要： 为了提高变电工程施工现场的安全管控水平,基于视频采集、环境监测、大屏展示、视频存储服务器、智能监管平台服务器等应用场景设计智能视频监控算法。所提算法可以抽象为一个融合卷积计算、池化运算及Softmax分类器的深度神经网络,能快速、准确地将低级别的特征图替换为高级别,进而实现对作业现场典型违章行为的识别。此外考虑到采集视频帧的时效性,算法引入双向长短期记忆网络来替代传统深度网络中的全连接层,在提升特征提取效率的同时,还避免了网络训练的梯度消失现象。实地部署测试结果表明,所设计的算法不仅可以完成多个目标的智能检测,且算法的整体mAP可达96.23%,较传统的CNN提升约3.74个百分点。

关键词： 目标跟踪   目标识别   无人机跟踪   YOLOv10  

摘要： 针对无人机目标小、目标不显著的情况以及目标被遮挡后的再跟踪问题,提出一种将改进YOLO和改进KCF模型融合的无人机识别跟踪算法YOLO-G-KCF。该算法在特征处理方面将多通道梯度特征和原图特征通过特征级联的方式进行融合,并将融合特征引入YOLOv10算法之中,使改进算法对强光照、阴影等复杂光照条件下的目标有更好的检测效果;同时将多通道梯度特征信息引入KCF目标跟踪算法之中,通过设计一种多尺度特征检测,使KCF算法具有良好的尺度自适应;在头侧引入KCF跟踪结果,计算得新的损失函数Inner-IoU,更准确的识别跟踪目标。经实验表明,在由多个开源无人机视频目标跟踪组成的数据集上进行测试,YOLO-G-KCF算法取得95.3%的准确率;与YOLOv10原始模型相比,改进模型的mAP@0.5提高了1.37%,平均精度mAP@0.5达到了94.28%,且识别速度达到了112 FPS,能以100 FPS以上的速度运行,满足无人机目标识别跟踪的实时性需求。通过引入识别机制的跟踪并进行改进,在不损失速度的基础上,对比其他算法具有更好地识别跟踪效果。YOLO-G-KCF算法实现了对无人机在目标小、不显著以及遮挡后再跟踪等情况下的识别跟踪,识别准确率高、抗干扰能力强、硬件开发实时性好,具有一定的理论研究和工程应用价值。

关键词： 图像处理   改进ResNet34   脑肿瘤分类   多尺度输入   注意力机制   inception v2  

摘要： 传统的人工分辩脑肿瘤医学影像费时费力、浅层的卷积神经网络模型分类准确率较低,为了提高脑肿瘤图像分类的高效性和准确率,提出了一种基于改进ResNet34网络的脑肿瘤分类模型;该模型以ResNet34残差网络作为骨干网络,结合多尺度特征提取思想,采用多尺度输入模块作为ResNet34网络的第一层,将inceptionv2模块作为残差下采样层;再通过通道注意力机制模块,从通道域的角度赋予图像不同通道不同的权重,得到更重要的特征信息;经过五折交叉实验后的结果表明,改进后的新网络模型的平均分类准确率约为98.82%,比ResNet34提升约1.1%,且模型参数数量仅为原模型的80%;这说明改进后的网络不仅提高了准确率,还减少了模型复杂度,达到了参数更少,准确率更高的分类效果。

关键词： 目标检测   工程车辆   EfficientViT   改进型YOLOv5s   软非极大值抑制算法  

摘要： 为有效减少并预防因违法土地开垦和矿产挖掘而造成自然环境破坏的行为,利用部署到高塔上的摄像头,提出了一种在复杂环境中进行各类工程车辆检测的ETS-YOLO小目标监测识别算法.首先,使用EfficientViT网络替换YOLOv5s的主干特征提取网络,以提高注意力多样性,大幅缩减模型参数量.其次,增加小目标检测层,增强网络对浅层语义信息的提取,以提高小目标检测效果.最后,使用软非极大值抑制算法(soft-NMS)替换原有NMS函数,以有效识别遮挡、重叠目标.实验结果表明:改进后的模型平均准确度均值(mAP)为93.3%、参数量为5.90 M、检测速度为52 f/s.相较YOLOv5s模型,mAP提升2.6%,参数量下降16.1%.

关键词： 精确目标检测   运动模糊   轻量化   部分深度可分离卷积   跨层路径聚合特征金字塔网络  

摘要： 为提升弹载成像制导中运动模糊图像目标检测的精确性与效率,提出一种轻量化且高效的运动模糊图像目标检测(Lighter and More Effective Motion-blurred Image Object Detection,LEMBD)网络。通过深入分析运动模糊图像的成因,基于成像机理构建了专用的运动模糊图像数据集。在不增加网络参数的前提下,采用共享权重的孪生网络设计,并引入先验知识,将清晰图像的特征学习用于模糊图像的特征提取,以同时实现对清晰与模糊图像的精准检测。此外,设计了部分深度可分离卷积替代普通卷积,显著减少了网络的参数量与计算量,并提升了学习性能。为进一步优化特征融合质量,提出跨层路径聚合特征金字塔网络,有效利用低级特征的细节信息和高级特征的语义信息。实验结果表明,所提LEMBD网络在运动模糊图像目标检测任务中的性能优于传统目标检测方法和主流运动模糊检测算法,能够为精确制导任务提供更精准的目标相对位置信息。