关键词： 双目视觉   YOLO v5算法   KCF算法   目标检测   目标跟踪  

摘要： 阐述针对视觉跟随机器人在目标跟踪过程中因周围环境干扰所带来的跟踪偏移和目标丢失问题,提出基于YOLO v5和KCF的目标检测与跟踪算法。首先介绍双目立体视觉模型和测距原理。其次,在目标检测方面,基于YOLO v5算法,采用行人重识别提取外观特征,实现抗干扰和防丢失的目标检测。同时,在目标跟踪方面,基于KCF算法,通过数据关联融合运动信息和外观特征后进行目标跟踪。最后,通过实验验证视觉跟随机器人目标检测和跟踪的准确性。

关键词： 目标跟踪   Transformer   动态特征融合网络   局部信息聚合   时间信息分支  

摘要： 随着无人机技术的飞速发展,其在各个领域有着越来越广泛的应用。无人机与视觉目标跟踪技术相结合,使得无人机更加具有智能化、自主化,在战场侦查、高空作业等场景大大提高了任务的执行效率。然而,由于无人机拍摄视角多变且拍摄到的图像分辨率低等原因,在跟踪过程中会面临目标与相似干扰物难以区分、目标外观发生严重变形而导致跟踪失败。因此,论文基于Transformer来解决上述挑战,主要研究内容和创新点如下: (1)针对无人机目标跟踪中的目标与相似干扰物难以区分问题,提出了基于动态特征融合网络的目标跟踪算法。该算法主要是基于孪生网络框架构建了更为精细的特征交互阶段。首先,在多头注意力机制中引入动态卷积提出动态注意力机制,其能够自适应捕捉适合查询-键对的相关性,并且抑制不相关查询-键对的错误相关性。然后,将所提出的动态注意力机制引入Transformer模块中,构建了动态自我增强模块和动态交叉增强模块,并基于这两种模块建立了一种动态特征融合网络以获取更为有效的融合特征。最后在无人机数据集UAV123、DTB70以及大规模数据集GOT-10k上进行实验,证明所提出的算法在无人机场景下的跟踪精度相较基线算法得以提高,且在相似目标干扰场景下得到提升。 (2)针对孪生网络框架骨干网络提取到的特征不够有效且特征融合阶段设计过于复杂,在一定程度上影响算法跟踪精度和跟踪速度的问题,提出了基于两阶段特征融合的目标跟踪算法。首先基于深度卷积构建了一个局部信息聚合模块,并且将该模块引入到一个较为轻量化的Transformer骨干网络中,使得在特征提取阶段中实现全局信息和局部信息的结合。然后,利用自学习的自我上下文增强模块和交叉学习的交叉特征增强模块构建了残差特征融合网络,对Transformer骨干网络输出的模板特征和搜索区域特征进行额外的特征交互以获得更加有效的融合特征,进一步提高对相似干扰物的区分能力。最后在无人机数据集上进行实验,证明所提出的算法在无人机场景下取得了更好的跟踪精度和跟踪速度,并且在相似目标干扰场景下也取得了显著提升。 (3)针对无人机目标跟踪过程中的目标外观发生变形问题,提出了基于时间信息分支的目标跟踪算法。首先,基于自适应时间Transformer模块和自我上下文增强模块构建了一个时间信息分支,其可以通过输入两帧的特征来获取两帧之间的时间信息。然后为了引入时间信息构建了多搜索帧的训练方法,使用该方法对所提出的时间信息分支进行训练,促进其更好获取帧与帧之间的时间信息。最后在无人机数据集上进行实验,证明所提出的算法在无人机场景下的跟踪精度相较基线算法得以提高,并且在目标外观发生变形场景下的跟踪精度得到提高。

关键词： GM-APD光子计数雷达   海面目标   目标检测   目标识别   特征匹配  

摘要： 基于盖革模式雪崩光电二极管(Geiger-Mode Avalanche Photo Diode,GM-APD)的光子计数雷达系统具有高探测灵敏度、快速响应和强抗干扰能力的优势,能够在复杂海面环境下远距离对海上目标进行精准、快速的检测与识别任务,为我军空对海作战提供安全可靠的保障。然而,利用GM-APD光子计数雷达进行海上目标检测、识别时,由于目标受到不同等级风、浪的干扰,导致探测所得的目标点云数据中存在噪声,从而引起目标点云轮廓特征模糊,降低目标识别准确率。基于此问题,本文以GM-APD光子计数雷达获取的点云数据为处理对象开展研究:首先,对海面刚体目标进行特性分析,建立其含噪点云模型,并构建海面目标数据集;其次,对于目标检测过程中对目标聚类分割时出现的欠分割或过分割的问题,开展基于平滑度的欧式距离分割方法研究,提高目标检测准确性;然后,对于检测提取出的待识别目标,本文提出了一种基于密度加权的法向偏差角与深度特征(Density Weighted Normal Deviation Angle and Depth Information,DNDADI)表征方法,在点云目标结构轮廓模糊的条件下,能对目标进行更精准的特征描述,为目标识别提高精度;最后,开展基于最近邻特征匹配的目标点云识别方法,实现对海面目标的精准识别,具体研究内容如下: (1)针对海面舰船目标受风浪影响导致的点云特征模糊的问题,本文借助其舰船运动模型进行特性分析,分析了其在风、浪条件下受到的噪声来源与类型,分低、中、高三个等级为舰船点云施加噪声干扰,构建舰船含噪点云模型,为后续海面仿真数据集的构建提供有效的理论支持和数据支撑。为推进后续的海面检测、识别相关工作,首先,根据建立的噪声模型构建仿真数据集,其次,为补充GM-APD光子计数雷达对海面目标采集的数据,以验证本文检测、识别方法的有效性,本文利用舰船模型代替真实舰船目标并搭建模拟海面实采场景,开展GM-APD光子计数雷达模拟海面实采实验,得到真实雷达采集数据,为后续检测、识别方法验证提供数据保障。 (2)针对点云目标检测中的目标聚类分割过程中易出现欠分割与过分割的问题,本文对传统的欧式聚类算法进行改进,增加了平滑度阈值,为边缘点的检测提供了有效的判据,解决了欠分割与过分割的问题,无论在对仿真数据集或者光子计数雷达的两个实采场景的聚类实验测试中,使用基于平滑度的欧式聚类都能对各个类别进行精准的区分,解决了过分割或欠分割的问题,提升了目标分割的准确性,证明了基于平滑度的欧式聚类方法的有效性。最后,对于聚类分割出的点云子集,使用基于主成分分析(Principal Component Analysis,PCA)的目标提取方法将感兴趣的目标提取出来,为后续的目标特征提取以及特征匹配缩短时间,提高效率。 (3)针对海面舰船目标受不同等级风、浪所带来的噪声干扰造成的目标点云特征信息模糊,影响特征描述精度,降低识别准确性的问题,本文提出一种基于密度加权的法向偏差角与深度信息表征(Density Weighted Normal Deviation Angle and Depth Information,DNDADI)的局部特征描述符,对局部参考系LRF(Local Reference Frame,LRF)引入密度权重,并基于局部参考系LRF计算关键点邻域的法向偏差角与深度特征,从密度、法向偏差角、深度信息三个方面研究目标较完整的三维特征表征,在海面仿真数据集和GM-APD光子计数雷达实采数据验证该特征描述符性能,实验结果表明,本文所提方法对比同类方法SDASS、TOLDI、SHOT、FPFH在海面仿真数据集与实采数据的匹配上均展现出性能优势,而基于DNDADI的目标识别方法在仿真数据集和GM-APD光子计数雷达实采数据较同类方法对目标识别率更高。 (4)为实现算法并行加速以及识别系统小型化、集成化,本文开展了基于多核DSP的目标识别算法设计与实现。首先,基于SYS/BIOS操作系统完成了多核DSP的静态配置,为后续算法实现奠定了稳定的运行环境基础。其次,针对多核协同处理的需求,构建了基于数据流模式的多核开发架构,并在此基础上设计实现了基于MessageQ与Notify相结合的高效核间同步通信机制。最后,利用仿真数据与光子雷达实采数据进行了实验测试,实验结果表明,在仿真测试和两个实际场景的测试中,经过并行架构优化后的算法在多核DSP上均表现出显著的性能,处理时间较单核运行模式大幅缩短,充分验证了多核并行化设计的有效性。

关键词： 焊接机器人   焊接缺陷检测   深度学习   RT-DETR   YOLOv8  

摘要： 在焊接机器人进行焊接的过程中,受到操作不当或工艺控制不严等原因,往往会伴随焊接缺陷的产生。这些缺陷不仅会导致产品机械性能的下降和使用寿命的缩短,而且会诱发严重的工业事故,造成重大经济损失和安全隐患。因此,研究具备高精度识别能力的焊接机器人焊接缺陷智能检测模型,对减少焊接质量隐患、提升工业制造质量以及降低人工检测成本具有非常重要的理论和实际意义。 为此,本文基于深度学习网络构建了两个焊接机器人焊接缺陷检测模型,并通过对其网络结构的轻量化、二次改进等操作,使其模型检测性能得到了显著的提升。本文主要的工作和创新点如下: (1)收集了焊接缺陷数据集并对数据集进行了预处理。首先,在数据集收集阶段,通过文献查阅法和网页搜索法,收集了最具代表的焊接缺陷数据集,用以内、外部焊接缺陷检测。其次,针对收集的开源数据集呈现显著的类别不平衡特性,对原始的焊接图像数据集实施了系统的图像数据增强策略,以此缓解了焊接数据不平衡所带来的模型训练过拟合、泛化能力弱化等问题。 (2)针对焊接机器人外部缺陷检测中存在的小目标缺陷检测漏检、误检以及缺陷角度任意分布的挑战,提出了一种基于YOLOv8(YOLO系列检测算法)的二次改进模型—YOLO-weld。首先,设计SPPF-weld和C2f＿DBB＿CBAM模块,用于增强YOLO-weld模型的上下文信息的聚合能力、多尺度特征的融合效果。然后引入OBB检测头用以准确地捕捉有方向性的缺陷,以此提高检测精度。最后,实验结果表明,对比YOLOv8模型,YOLO-weld模型在精度、召回率和mAP@0.5(Mean Average Precision at IoU=0.5)分别提升了3.2%、2.6%、4.0%和3.9%。 (3)针对焊接机器人焊缝内部缺陷检测中存在检测精度低和实时性差的问题,提出了RT-DETR(Real-Time Detection Transformer)的改进优化模型—LW-DETR。首先,通过剔除RT-DETR模型中冗余的模块和对其超参数进行调整,实现和满足了模型的轻量化和实时性的需求。其次,设计了基于空间协调注意力SCSA的改进模块-SCSA-EF,提升了对小目标的特征表达和模型泛化能力。接着,设计了基于大型可分离核注意力模块LSKA的改进模块-ELSKA,以提高模型检测大、中尺寸特征图的精度和鲁棒性。另外,添加损失函数Inner WioU为模型提供一种更细粒度的评估方式。最后,实验结果表明LW-DETR模型的全类别精度、召唤率、调和平均值和平均精度均值mAP@0.5和每秒帧数分别达97.9%、96.8%、97.0%、99.0%和34.2帧/s,分别比RT-DETR模型提升2.2%、0.7%、1.0%、1.2%、和175.8%,且计算量和参数量分别降低至RT-DETR模型的11.8%、18.3%。

关键词： 烧结机台车   缺陷部件   计算机视觉   深度学习   检测系统  

摘要： 在现代钢铁冶炼中,烧结矿已成为不可或缺的重要原料。烧结机台车是制取烧结矿的关键设备,它能否正常运行直接影响到烧结工艺的稳定以及成品矿的质量。由于台车长期在高温、满载以及粉尘较大的环境下持续作业,其部件容易出现老化损坏的情况,从而产生箅条缺失、车轮锁紧螺栓缺失、车轮脱落以及车轮轴承损坏等故障。如果台车缺陷部件故障未能及时发现并处理,台车持续高负荷运行将导致性能与结构进一步恶化,且容易引发二次生产事故,影响烧结生产安全与效率。 针对烧结过程中台车部件缺陷故障频发,且故障检测滞后等问题,本文基于计算机视觉与深度学习实现了烧结机台车缺陷部件的智能化检测,并构建了检测系统,以保障烧结生产稳定顺行。本文研究工作主要包含以下内容:首先,根据不同目标检测网络在台车缺陷部件数据集上的训练与测试结果,选取了综合性能表现较优的YOLOV11台车缺陷部件检测模型识别台车部件,并结合缺陷部件故障判定算法,对烧结生产过程中的台车箅条缺失、车轮锁紧螺栓缺失以及车轮脱落故障进行检测;随后,以烧结机台车轴承损坏后引发的车轮摆动为检测特征,基于视频序列建模的方式实现了运行车轮摆动检测算法。其中YOLOv11台车缺陷部件检测模型被用于结合视频获取规则录制烧结机台车车轮运行视频,采用ViT(Vision Transformer)模型提取视频特征序列,并构建GRU(Gated Recurrent Unit)-MHA(Multi-Head Attention)模型捕捉视频特征序列中的车轮运动规律,完成对车轮正常行进与摆动的分类。在车轮运行视频数据集上对所提方法进行了对比验证,基于ViT-GRU-MHA架构的车轮摆动检测模型在计算效率与检测精度上均表现较优,为判断车轮轴承故障提供依据。最后,基于烧结机台车缺陷部件智能化检测算法的实现,结合Deep Stream视频流加速分析框架、Kafka分布式消息队列以及Web前后端业务逻辑构建了缺陷部件检测系统,通过实时的故障检测、判定、存储、显示及预警,实现了烧结机台车箅条缺失、车轮锁紧螺栓缺失、车轮脱落以及车轮摆动故障的智能化监测。 本文将基于计算机视觉与深度学习的故障检测技术应用于烧结生产领域,并基于实时视频流智能分析构建了烧结机台车缺陷部件检测系统,有助于提高钢铁厂烧结生产的智能化水平,为烧结机台车缺陷部件检修提供了一种新的解决方案。

关键词： 雷达目标跟踪   量测转换   序贯滤波   多源融合   异步融合  

摘要： 随着雷达目标跟踪技术在军事和民用领域的广泛应用,提升其性能已成为研究重点。雷达获取的目标量测信息是典型的非线性量测,本文围绕源于单雷达和多雷达平台的单/多源非线性量测下的目标跟踪方法展开研究。本文的主要工作和贡献如下: (1)针对单基地雷达提供的单源非线性量测,在传统处理径向速度量测的序贯滤波方法的基础上,提出了一种基于去偏量测矩阵的线性序贯滤波算法(DMM-LSF),构建了线性的序贯滤波框架结构。随后,基于DMM-LSF算法,进一步提出了改进的基于自适应量测矩阵与动态信息反馈的线性序贯滤波算法(DH-ALSF)。最后,算法结合交互多模(IMM)框架,提出了DH-ALSF-IMM算法,实现了对机动目标的有效跟踪。 (2)针对双基地雷达提供的单源非线性量测,首先采用经典非线性滤波方法EKF和UKF算法实现目标跟踪。随后,推导了双基地雷达的量测转换方法,并提出了基于去偏量测转换的线性卡尔曼滤波算法(DCMKF-BR)。为解决量测值与量测转换误差统计特性相关导致的估计偏差问题,进一步提出了基于去相关去偏量测转换的线性卡尔曼滤波算法(RDCMKF-BR)。最后,通过引入径向速度量测,提出了基于动态信息反馈的非线性序贯滤波算法(SF-BR)。 (3)针对多雷达系统提供的多源同步非线性量测,首先研究自发自收雷达组网系统的目标跟踪方法,在DH-ALSF算法的基础上,给出了分布式融合结构与序贯融合结构,并提出了一种基于自适应深度序贯融合的目标跟踪算法(ADSF)。随后,研究收发分置雷达组网系统的目标跟踪方法,在SF-BR算法的基础上,提出了基于多通道分布式融合的目标跟踪算法(DF-BR)。 (4)针对多个异步传感器提供的多源异步非线性量测,首先研究异步自发自收雷达组网系统的目标跟踪方法,提出了基于量测时刻序贯融合的目标跟踪算法(SF-Asynchronous)。随后,研究异步收发分置雷达组网系统的目标跟踪方法,提出了一种基于智能融合的目标跟踪算法(AIF-BR)。最后,针对异构异步多传感器场景,提出了基于分布式融合的异构异步多传感器目标跟踪算法(HADF)。

关键词： 实木地板检测   机器视觉   自动控制系统   图像处理   颜色色差  

摘要： 实木地板具有自然生长的色彩和纹理，是室内装饰的优良材料，为了满足特定的室内装饰要求的艺术效果,实木地板的尺寸需要精确、颜色需要协调，因此在生产过程中需要对实木地板的几何尺寸进行测量并对颜色进行分类，以满足客户的个性化需求。然而，传统人工分选的方法受劳动强度、工作效率、检测客观度等因素的制约，难以满足日益增长的产业自动化与智能化发展需求。本文基于机器视觉技术,对实木地板的几何尺寸和颜色采集系统进行设计，对实木地板外观尺寸测量和色差识别算法进行优化。在几何轮廓尺寸测量中，更多地考虑生产过程中木地板随机姿态对测量精度的影响，通过ArUco(Augmented Reality University of Cordoba)码实时感知木地板的三维姿态并进行矫正，提高尺寸测量的精度；在色差识别中，通过梯度自相关算子对木纹进行识别和去除，并以Lab颜色空间表征色差。经实验验证，本文的方法可根据基准板对加工缺失、多余轮廓进行识别，尺寸检测相对精度约0.8%，木地板的色差得到较好地表征和识别。

关键词： 合成孔径雷达   注意力机制   目标检测   特征金字塔   损失函数  

摘要： 针对合成孔径雷达（synthetic aperture radar,SAR）图像的成像机理导致SAR图像受噪声影响严重且SAR目标类别存在不均衡问题，使得SAR目标特征刻画较困难。针对上述问题，提出一种基于动态聚合网络（dynamic aggregation network, DANet）的SAR目标检测方法。该网络以无锚框全卷积一阶段目标检测（fully convolutional one-stage object detection,FCOS）网络为基础网络框架。DANet在特征金字塔网络中嵌入具有动态坐标注意力的动态聚合模块，以提高噪声影响下SAR目标特征学习能力。为了缓解SAR数据集中不同类别之间数量不平衡的问题，DANet在检测头的回归分支引入类平衡动态交并比（intersection over union,IoU）损失函数,通过动态非单调机制和类平衡因子引导模型参数更新。在MSAR-1.0数据集和SAR-AIRcraft-1.0数据集上的实验结果表明，DANet在上述SAR目标检测数据集上的目标检测准确率分别达到了70.25%和52.36%，相比基准网络FCOS，其平均精度分别提高了2.73%和3.67%。与其他相关算法相比，DANet在SAR图像目标检测精度方面具有明显优势。

摘要： 拍摄晨曦,尤其山岗晨曦,需选择视野开阔的拍摄点以及云霞较为丰富、但又不是乌云密布以致阳光无法穿透云层的天气,而且要在日出前一个半小时赶到拍摄点,选好理想的前景,使用合适的镜头焦距,在天光变化时应不间断地进行拍摄,以便从中选取理想画面。同时适当移换拍摄位置,以获得不同构图的画面。但最关键的还是要抓住天光与云霞色彩的变化,关注曝光,画面中高光部位绝对不能过曝,这样才能确保获得丰富的影调层次与理想的色彩表现。