关键词:
卫星视频
单目标跟踪
多目标跟踪
卷积神经网络
Transformer
摘要:
卫星视频目标跟踪任务在时空智能感知研究中发挥着重要的作用,能有效完成城市交通管理、自然灾害动态响应等任务。然而,由于图像的成像角度、光照条件等因素的影响,卫星视频中的目标存在复杂遮挡、相似目标干扰、低质量、背景杂乱等问题。现有的方法对卫星视频中目标的上下文信息和局部信息的提取能力不足,导致部分细节信息丢失。针对上述问题,本文开展基于卫星视频目标跟踪的方法研究,主要研究内容如下:
(1)针对卫星视频单目标跟踪中复杂遮挡、相似目标干扰问题,提出一种孪生光谱-空间-帧关联网络的卫星视频单目标跟踪方法(Single-object Tracking Method Based on Siamese Spectral-Spatial-Frame Correlation Network,Siam S2F)。该方法结合卷积神经网络与自注意力机制,增强了网络在复杂场景中对相似目标和遮挡问题的鲁棒性。同时,提出了一种光谱-空间-帧注意力模块,该模块通过增强视频帧之间的交互,可以更好地关注目标的连续性,有效解决复杂遮挡问题。最后,提出了一种分类回归头模块,该模块包含三种损失函数,通过三种损失函数的协同作用来解决相似目标干扰问题。
(2)针对卫星视频单目标跟踪中视频低质量、背景杂乱问题,提出一种时序增强Transformer卫星视频单目标跟踪方法(Single-object Tracking Method Based on Time-series Enhanced Transformer,ST2SET)。首先,该方法结合了卷积神经网络和Transformer的各自优势,构建了一个混合跟踪框架。其次,设计了一种多尺度交互注意力机制,该机制通过构建多粒度感受野金字塔,有效解决视频低质量问题。最后,对Transformer的编码器-解码器架构进行了针对性改进。在编码器部分,设计了时空上下文融合注意力机制,并通过掩码矩阵对上下文信息进行过滤和聚焦,有效解决背景杂乱的问题。在解码器部分,设计了时空上下文广播注意力机制,同时采用了跨帧时间信息传播方法,以平滑跟踪目标外观的变化,有效缓解目标旋转问题。
(3)针对卫星视频多目标跟踪中目标空间密集分布导致的漏检问题,提出一种基于动态感知的卫星视频多目标跟踪方法(Satellite Video Multi-object Tracking Method Based on Dynamic Perception,SMotDP)。首先,该方法设计动态掩码传播模块,该模块首先利用分块交叉注意力提取精细化特征,进而利用动态缩放注意力模块对空间拓扑建模,显著提升检测性能。进一步地,将动态缩放注意力集成到掩模传播与运动预测网络,实现通道与空间联合编码,有效缓解多目标跟踪中漏检的问题。