关键词： 图像融合   目标跟踪   嵌入式实时部署   低照度环境   智能瞄具  

摘要： 随着智能瞄具在军事与安防领域的广泛应用,低照度环境下的目标感知与跟踪成为关键挑战。传统多光谱图像融合方法虽能提升图像质量,但存在计算开销大、难以在嵌入式设备上实时部署等问题;同时,目标跟踪算法在遮挡与尺度变化等复杂条件下稳定性较差,影响系统实用性。 针对上述问题,本文围绕低照度环境下的智能瞄具视觉系统展开研究,以提升系统的全天候目标跟踪性能为核心目标,提出了一种轻量化双光图像融合网络,为后续跟踪算法提供更优质、信息更丰富的输入;同时设计了面向嵌入式平台的目标跟踪算法优化方法,系统实现了图像融合与跟踪模块的协同部署与协同运行。 在图像融合方面,本文设计了一种基于深度学习的轻量级融合网络(Real-Time Nighttime Fusion Network,RNFnet)。该网络通过引入自适应清晰网络(Adaptive Clarity Network,ACN)模块增强低照度图像特征,并设计梯度感知(Contour Boosting,CB)模块强化纹理信息学习,显著提升了融合图像的目标细节与环境适应性。网络参数量从初始的24082经过模型剪枝优化后降至2082,单帧推理时间仅为33 ms,在瑞芯微RK3588平台上实现了高效运行。实验结果表明,该网络在7项融合指标上均优于7种对比算法,同时满足了实时性需求,为低照度环境下的图像增强提供了一种可行的解决方案。 在目标跟踪方面,本文针对核相关滤波(Kernelized Correlation Filters,KCF)算法在遮挡丢失与尺度适应性方面的局限性,提出了一种基于状态判别的优化策略。通过引入运动模型和双路径搜索机制,显著提升了目标在遮挡场景下的重捕率与跟踪稳定性。结合平滑响应机制与外部传感器数据,优化了尺度自适应性能。优化后的算法在嵌入式平台上实现了25 FPS的实时运行,遮挡恢复率、尺度误差及跟踪精度均较原始KCF算法有显著提升。 最后,完成了系统的整体集成,包括双传感器采集、图像融合与目标跟踪模块的高效协同。系统实测显示,其在低照度场景下具备较强的目标感知与跟踪能力,核心模块均满足实时性要求。 本文工作为低照度环境下的视觉感知提供了新方法,具有良好的实际应用潜力。未来将进一步提升系统智能化水平与环境适应能力。

关键词： 目标跟踪   光电吊舱   SiamFC   漂移感知   特征融合   模板更新  

摘要： 无人机在科学研究、军事侦察及民用领域展现出重要的研究价值与广泛的应用前景,其视觉目标跟踪技术因任务场景的多样性成为研究热点。然而在实际应用中,复杂环境下的目标形变、局部遮挡、相似背景干扰等动态因素,以及机载平台有限的计算资源约束,使得很多跟踪算法难以实现精度与实时性的有效平衡。针对上述问题,本研究聚焦光电吊舱观测场景下的空地视觉目标跟踪优化需求,提出一种基于SiamFC联合运动预测的跟踪算法。该方法通过特征提取网络优化、模板更新策略优化与运动补偿策略的协同设计,为无人机平台实现高精度高鲁棒性的实时视觉跟踪提供了可行的技术路径。本文的主要贡献可总结为: (1)针对孪生网络结构的跟踪算法在复杂场景下易受干扰导致跟踪漂移的问题,本研究提出一种基于自适应卡尔曼滤波的漂移感知机制。该机制动态优化目标状态估计过程,有效增强算法对目标运动规律的建模能力。为验证方法的有效性,研究选取SiamFC、SiamRPN和Siam CAR三种典型孪生网络跟踪器作为基准模型,并在相关数据集上进行系统性评估。实验结果表明:相较于基准算法,改进后的跟踪器在平均跟踪精度和成功率均有明显提升,尤其在相似目标干扰和快速运动等挑战性场景下表现出显著优势。 (2)SiamFC是一种经典的孪生网络结构的跟踪算法,其结构简单高效,实时性表现好,部署难度低,适用于面向无人机吊舱的轻量级部署场景,但特征融合方式和模板更新策略都很存在局限性,这其中都蕴含着较大的改进潜力。因此本文以漂移感知机制为锚点,通过引入联合运动强度信息的多层级特征融合策略,以及联合运动状态预测的UpdateNet模板更新策略,设计了一种基于SiamFC联合运动预测的跟踪算法。并在UAV123、UAV20L两种权威的无人机视频数据集上进行评估。结果表明,该方法全方位提升了原有框架的跟踪性能,在遮挡、快速运动、相似目标干扰等典型挑战场景下,跟踪性能指标都有着明显的提升。 (3)最后以上文提出的视觉目标跟踪算法为基础,在Jetson AGX Xavier嵌入式平台上搭建了面向光电吊舱的目标跟踪系统,使用Tensor RT加速库来优化系统性能,并在关键复杂场景中进行跟踪验证,展示了该跟踪算法满足在无人机光电吊舱应用场景下的跟踪需求。

关键词： 非结构化道路   目标检测   YOLOv7算法   增强分层多尺度融合  

摘要： 在非结构化道路环境中，及时准确地检测道路坑洼对于保障交通安全至关重要。当前检测算法在复杂场景中存在漏检和精度不足的问题。为提升检测性能，提出了一种基于YOLOv7算法的改进方法。首先通过引入增强的分层多尺度特征融合模块，优化特征提取能力；其次加入高效通道注意力机制，提高模型对目标区域的关注度；最后使用深度可分离卷积减少计算量，提高检测效率。改进后的模型在自制数据集上进行验证，与现有的YOLOv7x、YOLOv7-d6、YOLOv5x和YOLOv5m模型进行对比测试，并将改进后的模型进行公开数据集的迁移学习，采用精确率、召回率(R)、平均精度均值、参数量和每秒帧数作为评估指标。实验结果表明，改进模型在精确率、召回率和平均精度均值上分别提升了5.47%、4.42%和6.65%,在检测速度上也保持了较高的效率；与常用目标检测模型对比性能优异；进行公开数据集的迁移学习后，精确率、召回率和平均精度均值得到进一步提升。这一改进显著提升了模型的检测性能和鲁棒性，不仅增强了交通安全保障能力，也为无人驾驶提供了可靠的技术支持。

摘要： 以大模型为代表的深度学习方法在许多静态封闭领域已经发挥重要作用，但在开放变化的动态场景中，经典训练方法仍无法有效持续适应变化，模型难以长期维持有效。面对开放环境的连续学习是人类基本能力之一，如何使深度学习模型具有连续学习能力是人工智能的重要研究方向。

关键词： 深度学习   图像识别   卷积神经网络   目标检测   语义分割  

摘要： 图像识别技术在多个领域中占据重要地位，其发展是从传统方法向深度学习方法转变的基本表征。文章主要探讨基于深度学习的图像识别技术，阐述其原理、关键技术、应用领域。深度学习，从理论上分析，其通过构建多层次结构的神经网络模型，如卷积神经网络（CNN）、循环神经网络（RNN）等，可自动学习图像中的特征表示，极大提升图像识别的准确率和效率。在图像分类、目标检测、语义分割等关键技术应用过程中，深度学习模型可表现出较强的使用性能。该技术已广泛应用于安防监控、医疗影像诊断、自动驾驶、工业检测等多领域中，可持续推动各个行业的智能化发展。

关键词： 图像处理   6D位姿估计   三维点云   特征融合   交叉注意力  

摘要： 针对非结构化场景中目标物体6D位姿检测易受前景与背景相似性影响的问题，提出一种基于交叉注意力加权机制的6D位姿检测方法。首先，通过RGB-D掩模锁定图像感兴趣区域（ROI），利用PSPNet模块提取RGB语义特征，利用PointNet模块提取相应区域点云的全局和局部特征，实现同一目标的双重特征表达。其次，以RGB语义特征和点云特征为输入，构建一种交叉注意力机制特征融合策略，通过CA(Cross-Attention)机制实现RGB特征和点云特征的深度融合，生成内涵信息更为丰富的前景目标融合特征，增强模型对复杂场景的理解能力。然后，以前景目标融合特征信息为输入，在主干网络中引入加权SE(Squeeze-and-Excitation)机制，实现前景与背景相似区域的区分，提升模型在背景干扰和颜色重叠场景下6D位姿估计的鲁棒性。最后，基于目标颜色特征与点云几何变换特征，进一步优化6D位姿估计结果，提升位姿检测精度。对比实验表明，相比DenseFusion方法，所提方法在LineMOD数据集上的平均距离提升2.5百分点，在YCB-Video数据集上的平均曲线下面积提升1.9百分点。为验证所提方法的工程实用性，开展了真实场景的测试实验，结果表明，整体质心偏差小于2 mm，整体角度误差小于1.5°。

关键词： 双目视觉   炸点定位   参数反演标定   图像处理   几何迭代模型  

摘要： 在当前兵器靶场测试中,弹丸爆炸时刻的位置信息是引信性能评估的重要依据,如何客观、准确和定量地对引信性能进行评估,是弹丸引信技术领域中的重要课题。现有方法中,常用的多种弹丸近炸位置参数测试系统,很容易因测试环境的复杂性或测试过程中射击武器产生的抖动的影响,而导致弹丸实际落炸初始位置难以精准获取的情况,降低了弹丸落炸位置测试系统的可靠性。如何有效获取弹丸实际落炸初始位置参数从而评估弹丸引信性能是当前的兵器靶场测试中研究的重点内容之一。本文从三个维度出发提出了基于无人机视觉交会炸点位置测试与标定方法,基于双目交会的测试定位原理,根据炸点位置像素坐标与测试系统参数建立炸点定位模型;提出了测试系统参数反演标定模型,实时解算测试系统参数,在排除无人机抖动干扰的同时提高定位模型精度,利用深度学习图像处理技术,对相机采集到的图像进行快速精准的识别并获取炸点像素位置坐标。通过实验验证,本文方法对16m2范围内炸点进行定位测试时,若测试区域距离测试设备约为43m,其误差基本保持在0.1m以内。本文主要研究内容概述如下: （1）无人机视觉交会炸点位置建模方法。通过在双无人机平台上安装高速相机,利用无人机来携带相机达到预设位置来实现指定区域内的弹丸炸点位置测试;为获取炸点空间位置坐标,首先结合三角函数建立了只具有俯仰角的双目交会测试模型,并在单角度测试模型基础上引入了水平偏转角,然后通过空间直线的旋转与相交建立完整的双目交会定位模型,最终建立测试区域内任意一点的像素位置坐标与其空间位置坐标关联方程。 （2）交会系统的参数反演测试方法。提出一种基于双无人机视觉空间交会的弹丸炸点位置测试系统参数标定方法,该方法通过测试区域内位置已知的三个标定点与未知的相机镜头中心位置建立一个底面固定顶点未知的空间三棱锥,与此同时,空间位置已知的三个点在相机采集图像中具有对应的像素点,利用三个像素点与相机镜头中心点结合相机结构与其内部参数,建立第二个结构确定的三棱锥,利用两个三棱锥的几何关系建立数学模型,解算相机镜头中心点的空间位置坐标与其对应的俯仰角与偏转角。 （3）基于深度学习的炸点图像识别处理方法。通过改进的Shuffle Net轻量级分类网络对高速相机采集到的序列图像进行分类,提出了一种基于YOLOv5-Fire CAM网络的炸点图像识别处理算法,对图像中弹丸爆炸区域进行识别,最后U-Net网络进行图像的分割,获取目标区域的像素位置坐标。

摘要： 低空对地监控是我国公共安全监控和人民安全防护的重要手段，机载探测感知系统与技术是低空对地监控能力实现的核心要素。太赫兹雷达成像为全天候、视频级、高分辨监视提供新的技术与装备，为交通监控、应急救援、安防反恐等领域提供可靠信息来源。如何基于机载太赫兹雷达视频中的动/静目标信息，进行重点区域目标检测、识别、跟踪，值得深入探索。此外，视频SAR与可见光、红外宽谱段集成，还可以视频级高刷新率实现低空对地多模态、高精度感知，多模态传感信息集成将有力提升重点目标识别跟踪鲁棒性。本专题拟对以上问题进行探讨。