关键词： 深度学习   ResNet   SSD  

摘要： 随着信息技术的快速发展，其在各行各业都得到了广泛应用。传统的公路巡检方式主要依靠人工巡检的方式，巡检过程需要投入大量的人力、物力。公路巡检行业也在不断融入智能化方法，以提高公路巡检的效率。基于此，本文通过大量的研究与实践工作，介绍了两种具有计算机深度学习功能的系统，对其进行了深度学习训练，并对其训练结果进行了分析，选定了基于Cafe深度学习框架的SSD网络作为用于检测公路巡检航拍图片的计算机检测体系，提高公路巡检的准确性和安全性。

关键词： 智能图像识别   安全监控   深度学习   目标检测  

摘要： 阐述基于智能图像识别技术提出变电检修作业安全监控系统的应用。该系统通过高清摄像机和热成像仪等设备采集作业场景数据，利用深度学习目标检测算法，实时识别人员行为和作业环境状况。

关键词： 深度学习   目标检测   轨迹预测   热带气旋   多模态  

摘要： 热带气旋每年都会给我国造成严重的经济损失和人员伤亡,本论文专注于灾害防控体系的关键环节——热带气旋的检测与轨迹预测,通过改进模块优化模型性能,构建起有效的气旋检测和预测模型,从而为应急管理部门提供更精准的灾害预警决策支持。 目前基于深度学习的热带气旋检测研究中,普遍使用的是经过裁剪的卫星图像数据集,这就使得模型难以直接利用卫星输出的原始图像进行检测,导致它们难以投入实际使用。为了解决这一问题,论文构建了一个全新的基于卫星图像的目标检测数据集。与其他数据集的不同之处在于,该数据集未经裁剪,直接由卫星输出。模型训练完成后,该模型能够直接利用卫星图像进行即时、快速的热带气旋检测,极大地提高了实际应用的可行性。 构建好数据集之后,鉴于数据集的特点,使用DETR检测模型作为基础模型。针对其小目标检测效果不佳以及图像中热带气旋尺度差异大的问题,提出了WDBB(Wide Diverse Branch Block,WDBB)和PACAPN(Parallel Atrous Convolution Attention Pyramid Network,PACAPN)改进模块,最终构建起WP-DETR气旋检测模型,实验表明该数据集下Precision为0.896,Recall为0.891,与其他对比模型相比,该模型有着更强的从复杂背景中检测出气旋的能力。 近年来,基于深度学习的热带气旋轨迹预测相关研究迅速发展。本论文利用深度学习技术构建了两种模型来预测热带气旋轨迹。 (1)针对历史轨迹数据中不同时间步对未来路径影响异质性强、信息衰减严重的问题,提出引入时间注意力机制的Seq2seq(TA-Seq2seq)模型,其中编解码器使用ConvLSTM,模型能够自适应分配不同历史时刻的信息权重,显著提升模型对复杂时序依赖的捕捉能力,在6h、12h、24h多时效预测中均取得优异表现。 (2)由于卫星图像中的云带形态、中心密集程度及外围云系的分布情况等可以反应气旋的演变趋势,因此论文想借助卫星图像所包含的丰富内容为热带气旋轨迹预测补充更多信息。当前基于多模态的气旋轨迹预测模型存在多模态信息利用不充分的问题,基于这一考虑,论文尝试构建了双分支的多模态预测模型,设计特征交互融合模块对两条分支提取到的特征进行融合,进而构建起一个基于ConvLSTM-3DCNN的多模态预测模型FABTFN,它在6h,12h预测中取得了更好的效果。

关键词： 图像融合   目标跟踪   嵌入式实时部署   低照度环境   智能瞄具  

摘要： 随着智能瞄具在军事与安防领域的广泛应用,低照度环境下的目标感知与跟踪成为关键挑战。传统多光谱图像融合方法虽能提升图像质量,但存在计算开销大、难以在嵌入式设备上实时部署等问题;同时,目标跟踪算法在遮挡与尺度变化等复杂条件下稳定性较差,影响系统实用性。 针对上述问题,本文围绕低照度环境下的智能瞄具视觉系统展开研究,以提升系统的全天候目标跟踪性能为核心目标,提出了一种轻量化双光图像融合网络,为后续跟踪算法提供更优质、信息更丰富的输入;同时设计了面向嵌入式平台的目标跟踪算法优化方法,系统实现了图像融合与跟踪模块的协同部署与协同运行。 在图像融合方面,本文设计了一种基于深度学习的轻量级融合网络(Real-Time Nighttime Fusion Network,RNFnet)。该网络通过引入自适应清晰网络(Adaptive Clarity Network,ACN)模块增强低照度图像特征,并设计梯度感知(Contour Boosting,CB)模块强化纹理信息学习,显著提升了融合图像的目标细节与环境适应性。网络参数量从初始的24082经过模型剪枝优化后降至2082,单帧推理时间仅为33 ms,在瑞芯微RK3588平台上实现了高效运行。实验结果表明,该网络在7项融合指标上均优于7种对比算法,同时满足了实时性需求,为低照度环境下的图像增强提供了一种可行的解决方案。 在目标跟踪方面,本文针对核相关滤波(Kernelized Correlation Filters,KCF)算法在遮挡丢失与尺度适应性方面的局限性,提出了一种基于状态判别的优化策略。通过引入运动模型和双路径搜索机制,显著提升了目标在遮挡场景下的重捕率与跟踪稳定性。结合平滑响应机制与外部传感器数据,优化了尺度自适应性能。优化后的算法在嵌入式平台上实现了25 FPS的实时运行,遮挡恢复率、尺度误差及跟踪精度均较原始KCF算法有显著提升。 最后,完成了系统的整体集成,包括双传感器采集、图像融合与目标跟踪模块的高效协同。系统实测显示,其在低照度场景下具备较强的目标感知与跟踪能力,核心模块均满足实时性要求。 本文工作为低照度环境下的视觉感知提供了新方法,具有良好的实际应用潜力。未来将进一步提升系统智能化水平与环境适应能力。

关键词： 深度学习   图像识别   卷积神经网络   目标检测   语义分割  

摘要： 图像识别技术在多个领域中占据重要地位，其发展是从传统方法向深度学习方法转变的基本表征。文章主要探讨基于深度学习的图像识别技术，阐述其原理、关键技术、应用领域。深度学习，从理论上分析，其通过构建多层次结构的神经网络模型，如卷积神经网络（CNN）、循环神经网络（RNN）等，可自动学习图像中的特征表示，极大提升图像识别的准确率和效率。在图像分类、目标检测、语义分割等关键技术应用过程中，深度学习模型可表现出较强的使用性能。该技术已广泛应用于安防监控、医疗影像诊断、自动驾驶、工业检测等多领域中，可持续推动各个行业的智能化发展。

关键词： 目标跟踪   光电吊舱   SiamFC   漂移感知   特征融合   模板更新  

摘要： 无人机在科学研究、军事侦察及民用领域展现出重要的研究价值与广泛的应用前景,其视觉目标跟踪技术因任务场景的多样性成为研究热点。然而在实际应用中,复杂环境下的目标形变、局部遮挡、相似背景干扰等动态因素,以及机载平台有限的计算资源约束,使得很多跟踪算法难以实现精度与实时性的有效平衡。针对上述问题,本研究聚焦光电吊舱观测场景下的空地视觉目标跟踪优化需求,提出一种基于SiamFC联合运动预测的跟踪算法。该方法通过特征提取网络优化、模板更新策略优化与运动补偿策略的协同设计,为无人机平台实现高精度高鲁棒性的实时视觉跟踪提供了可行的技术路径。本文的主要贡献可总结为: (1)针对孪生网络结构的跟踪算法在复杂场景下易受干扰导致跟踪漂移的问题,本研究提出一种基于自适应卡尔曼滤波的漂移感知机制。该机制动态优化目标状态估计过程,有效增强算法对目标运动规律的建模能力。为验证方法的有效性,研究选取SiamFC、SiamRPN和Siam CAR三种典型孪生网络跟踪器作为基准模型,并在相关数据集上进行系统性评估。实验结果表明:相较于基准算法,改进后的跟踪器在平均跟踪精度和成功率均有明显提升,尤其在相似目标干扰和快速运动等挑战性场景下表现出显著优势。 (2)SiamFC是一种经典的孪生网络结构的跟踪算法,其结构简单高效,实时性表现好,部署难度低,适用于面向无人机吊舱的轻量级部署场景,但特征融合方式和模板更新策略都很存在局限性,这其中都蕴含着较大的改进潜力。因此本文以漂移感知机制为锚点,通过引入联合运动强度信息的多层级特征融合策略,以及联合运动状态预测的UpdateNet模板更新策略,设计了一种基于SiamFC联合运动预测的跟踪算法。并在UAV123、UAV20L两种权威的无人机视频数据集上进行评估。结果表明,该方法全方位提升了原有框架的跟踪性能,在遮挡、快速运动、相似目标干扰等典型挑战场景下,跟踪性能指标都有着明显的提升。 (3)最后以上文提出的视觉目标跟踪算法为基础,在Jetson AGX Xavier嵌入式平台上搭建了面向光电吊舱的目标跟踪系统,使用Tensor RT加速库来优化系统性能,并在关键复杂场景中进行跟踪验证,展示了该跟踪算法满足在无人机光电吊舱应用场景下的跟踪需求。

关键词： 图像处理   6D位姿估计   三维点云   特征融合   交叉注意力  

摘要： 针对非结构化场景中目标物体6D位姿检测易受前景与背景相似性影响的问题，提出一种基于交叉注意力加权机制的6D位姿检测方法。首先，通过RGB-D掩模锁定图像感兴趣区域（ROI），利用PSPNet模块提取RGB语义特征，利用PointNet模块提取相应区域点云的全局和局部特征，实现同一目标的双重特征表达。其次，以RGB语义特征和点云特征为输入，构建一种交叉注意力机制特征融合策略，通过CA(Cross-Attention)机制实现RGB特征和点云特征的深度融合，生成内涵信息更为丰富的前景目标融合特征，增强模型对复杂场景的理解能力。然后，以前景目标融合特征信息为输入，在主干网络中引入加权SE(Squeeze-and-Excitation)机制，实现前景与背景相似区域的区分，提升模型在背景干扰和颜色重叠场景下6D位姿估计的鲁棒性。最后，基于目标颜色特征与点云几何变换特征，进一步优化6D位姿估计结果，提升位姿检测精度。对比实验表明，相比DenseFusion方法，所提方法在LineMOD数据集上的平均距离提升2.5百分点，在YCB-Video数据集上的平均曲线下面积提升1.9百分点。为验证所提方法的工程实用性，开展了真实场景的测试实验，结果表明，整体质心偏差小于2 mm，整体角度误差小于1.5°。

摘要： 低空对地监控是我国公共安全监控和人民安全防护的重要手段，机载探测感知系统与技术是低空对地监控能力实现的核心要素。太赫兹雷达成像为全天候、视频级、高分辨监视提供新的技术与装备，为交通监控、应急救援、安防反恐等领域提供可靠信息来源。如何基于机载太赫兹雷达视频中的动/静目标信息，进行重点区域目标检测、识别、跟踪，值得深入探索。此外，视频SAR与可见光、红外宽谱段集成，还可以视频级高刷新率实现低空对地多模态、高精度感知，多模态传感信息集成将有力提升重点目标识别跟踪鲁棒性。本专题拟对以上问题进行探讨。

关键词： 双目视觉   炸点定位   参数反演标定   图像处理   几何迭代模型  

摘要： 在当前兵器靶场测试中,弹丸爆炸时刻的位置信息是引信性能评估的重要依据,如何客观、准确和定量地对引信性能进行评估,是弹丸引信技术领域中的重要课题。现有方法中,常用的多种弹丸近炸位置参数测试系统,很容易因测试环境的复杂性或测试过程中射击武器产生的抖动的影响,而导致弹丸实际落炸初始位置难以精准获取的情况,降低了弹丸落炸位置测试系统的可靠性。如何有效获取弹丸实际落炸初始位置参数从而评估弹丸引信性能是当前的兵器靶场测试中研究的重点内容之一。本文从三个维度出发提出了基于无人机视觉交会炸点位置测试与标定方法,基于双目交会的测试定位原理,根据炸点位置像素坐标与测试系统参数建立炸点定位模型;提出了测试系统参数反演标定模型,实时解算测试系统参数,在排除无人机抖动干扰的同时提高定位模型精度,利用深度学习图像处理技术,对相机采集到的图像进行快速精准的识别并获取炸点像素位置坐标。通过实验验证,本文方法对16m2范围内炸点进行定位测试时,若测试区域距离测试设备约为43m,其误差基本保持在0.1m以内。本文主要研究内容概述如下: （1）无人机视觉交会炸点位置建模方法。通过在双无人机平台上安装高速相机,利用无人机来携带相机达到预设位置来实现指定区域内的弹丸炸点位置测试;为获取炸点空间位置坐标,首先结合三角函数建立了只具有俯仰角的双目交会测试模型,并在单角度测试模型基础上引入了水平偏转角,然后通过空间直线的旋转与相交建立完整的双目交会定位模型,最终建立测试区域内任意一点的像素位置坐标与其空间位置坐标关联方程。 （2）交会系统的参数反演测试方法。提出一种基于双无人机视觉空间交会的弹丸炸点位置测试系统参数标定方法,该方法通过测试区域内位置已知的三个标定点与未知的相机镜头中心位置建立一个底面固定顶点未知的空间三棱锥,与此同时,空间位置已知的三个点在相机采集图像中具有对应的像素点,利用三个像素点与相机镜头中心点结合相机结构与其内部参数,建立第二个结构确定的三棱锥,利用两个三棱锥的几何关系建立数学模型,解算相机镜头中心点的空间位置坐标与其对应的俯仰角与偏转角。 （3）基于深度学习的炸点图像识别处理方法。通过改进的Shuffle Net轻量级分类网络对高速相机采集到的序列图像进行分类,提出了一种基于YOLOv5-Fire CAM网络的炸点图像识别处理算法,对图像中弹丸爆炸区域进行识别,最后U-Net网络进行图像的分割,获取目标区域的像素位置坐标。