关键词： 三维目标跟踪   自适应损失函数   激光点云   运动估计   深度学习  

摘要： 单目标跟踪是计算机视觉的经典研究课题,在自动驾驶、智能安防和机器人等前沿的应用场景中发挥着必不可少的作用。随着激光雷达系统的发展,很多研究从基于二维图像的视觉目标跟踪转移到基于点云的三维目标跟踪。激光雷达系统具有独特优势,能够直接准确地识别目标物体的几何信息。同时,它在复杂光谱和恶劣天气下表现出较强的鲁棒性,能为各种复杂驾驶情景提供可靠的感知信息。然而,该领域依然存在许多问题亟待研究。对此,做了如下的研究: （1）激光雷达扫描导致点云密度分布不均,这对神经网络的训练造成了较大困难,同一跟踪器很难同时高质量跟踪点云的稠密区域和稀疏区域的目标。因此采用基于体素表征的单目标跟踪方法,在特征提取阶段将模版、搜索区域点云做体素网格划分,再基于共享权重的稀疏卷积学习特征,以缓和点云疏密不均对特征提取的不利影响。之后在不同层级的模版和搜索区域分支处执行特征匹配操作以引入目标先验信息,同时用通道注意力机制滤波,关注重点特征并抑制不相关噪声和信息干扰。最后将滤波后的搜索区域特征输入改进的Center Net检测器进行目标定位。在多个公开基准数据集上的实验表明该方法具有卓越的性能,跟踪精度高,泛化能力强。 （2）传统的1L或2L损失在处理点云跟踪任务时,对数据分布做出固定方差的拉普拉斯或高斯假设,与实际样本潜在分布不符,影响模型收敛速度与跟踪性能。鉴于此,提出一种基于自适应损失函数的单目标跟踪方法。该方法借助流模型估计样本潜在分布,为不同跟踪类别定制潜在分布假设,并额外预测样本方差,自适应地平衡样本对总损失的贡献。值得一提的是,相关模型权重仅在训练阶段使用,不会增加推理阶段的计算开销。在多个公开数据集上的实验验证了该方法能够有效优化跟踪模型,提升跟踪精度,加快收敛速度。 （3）现有的跟踪方法虽然在跟踪基准测试中有一定性能,但设计复杂,需处理多个子任务,导致框架复杂,给训练和部署带来诸多难题。为构建一个简单且高性能的基线模型,提出一种基于鸟瞰视角下运动估计的单目标跟踪方法。该方法集结了体素化表征和自适应损失函数的优势,通过在鸟瞰视角下估计目标在帧间的相对运动实现跟踪,在跟踪框架、模块设计、子任务设计上展现出显著的简单性。在多个公开数据集上的实验表明,该方法在跟踪精度、泛化能力、稀疏场景和干扰物场景鲁棒性方面表现卓越,且运行速率快,为三维目标跟踪任务提供了一种高效的解决方案。

关键词： 多速率非线性系统   序贯融合估计   跟踪系统   未知输入   相关噪声  

摘要： 多传感器信息融合技术在自动驾驶、机器人导航和目标追踪等前沿领域发挥着关键作用。目前,集中式、分布式和序贯式融合是该领域的主流方法。集中式融合理论上最精确,但存在通信开销大、系统稳定性低的缺点。分布式融合虽然通信开销小、抗干扰能力强,但难以达到最佳效果。在实际应用中,传输延迟和传感器采样不同步的情况很常见,导致数据到达时间不一致。相比之下,序贯融合在处理异步系统融合估计问题方面具有独特的优势。本研究以扩展卡尔曼滤波(extended Kalman filter,EKF)为理论框架,面向多速率采样下的非线性多传感器系统,提出序贯融合估计算法,并构建目标跟踪定位实验平台,验证算法有效性。主要研究内容如下: 1、针对非线性系统,考虑噪声相关与传感器多速率采样问题,提出了序贯观测融合EKF算法。该算法通过依次对传感器的观测数据进行滤波处理,在序贯滤波过程中给出了观测白噪声估值器,在序贯预报过程中给出了系统噪声估值器。与最优集中式融合估计算法相比,所提序贯滤波算法在保证估计精度的前提下,显著降低了计算复杂度。 2、针对观测带未知输入(unknown input,UI)场景下的多速率多传感器系统,应用加权最小二乘(weighted least squares,WLS)算法提出了集中式加权观测融合EKF算法,以及基于序贯融合结构提出了序贯观测融合EKF算法。提出的两种降维方法,将集中式融合的高维观测方程转化为低维处理,有效降低了计算量。研究结果表明,改进后的算法可有效降低计算复杂度,同时序贯融合算法具有实时估计性能。 3、搭建基于智能小车的室内目标跟踪平台。建立全局坐标系,对运动参数进行校准,布置超宽带(ultra wide band,UWB)基站并记录笛卡尔坐标。在实验场地设置参考轨迹,安装UWB标签。基于安全外壳协议(secure shell,SSH)远程控制小车视觉循迹并完成定位测试。通过上位机收集和处理数据,实现了数据的采集、接收、解析。将不同场景下目标跟踪平台实验获得的观测数据输入所提序贯融合估计算法的计算机程序中对数据实时处理,获得目标跟踪轨迹,实现目标的跟踪和定位。

关键词： 高光谱成像   液晶可调谐滤光片(LCTF)   空间特征   目标检测   异常目标  

摘要： 高光谱图像能够精准捕捉目标表面细微的光谱特征。由于不同物质的光谱特性存在差异,即便目标经过伪装,在高光谱图像下,其与背景环境的光谱特征仍会呈现出区别,从而被有效识别。通过准确检测出伪装目标,有助于防御方及时察觉潜在威胁,为军事决策提供关键信息,提升军事作战的战略优势。 本文针对在实验室搭建的基于液晶可调谐滤光片(LCTF)高光谱成像系统采集的高光谱图像进行伪装目标检测技术研究,并对没有先验知识情况下高光谱图像异常目标检测算法进行研究。本文主要工作如下: (1)论文详细阐述高光谱图像的基础理论,依据LCTF成像原理及实际应用需求,成功搭建一套基于LCTF的高光谱成像系统,明确了光学器件的主要参数,并通过成像测试实验与物体光谱反射率计算对系统性能进行验证。 (2)针对高光谱图像伪装目标检测,设计了基于LCTF高光谱图像的实验方案,在实验室采集两组相关实验数据集,经反射率校正与感兴趣目标选取获取真实先验信息。详细阐释三种高光谱目标检测算法原理,运用这些算法对已知目标未知背景开展伪装目标检测,利用中值滤波去噪和空间特征提取操作,借助性能评估模型完成实验结果分析。 (3)在高光谱异常目标检测方面,对比三种经典算法与两种基于光谱信息联合的异常检测算法性能,发现后者虽检测性能优于经典算法,但存在效率低下问题。基于双窗口滑动局部求和机制提出改进算法,经与前两种算法对比,新算法在保证检测精度的同时,显著提升了检测效率。本研究为高光谱成像系统在目标检测领域的应用提供了重要的理论与实践支撑。

关键词： 行人检测   目标检测   深度学习   RetinaNet   注意力机制  

摘要： 随着我国新能源汽车和智能城市安防系统的迅速发展,行人检测作为核心感知任务之一,相关技术需求不断增长。行人检测任务的目标是在密集场景图像、视频中准确定位出所有行人目标,因此,快速、准确地检测出行人目标,在智能驾驶和安防监控系统相关实际应用场景中至关重要。本研究针对传统行人检测方法在复杂背景、目标被遮挡情况下存在的漏检、错检情况,和检测效率低下,实时检测性能不够的问题,提出了一种基于改进Retina Net的行人检测方法,主要研究内容如下: 首先,本研究搜集、标注并整理分类了一个较为全面的行人检测数据集,用于后续模型的训练与对比实验。接着,针对Retina Net基准模型在特征融合时背景权重较大,影响最终结果的问题,本研究引入了BRA注意力机制,并采用CSPStage方法优化计算冗余。最后,针对RetinaNet特征层之间仅有单向信息交流的问题,引入特征层之间跨层横向连接的信息交互模块。将上述改进后的模型称为Improved Retina Net。 随着改进后模型精度的增加,模型训练占用的硬件资源、训练时间也随之增加,本研究在Improved Retina Net基础上继续进行改进。我们通过引入Shuffle-SE主干结构和Anchor-Free目标定位方法,来改善模型的计算复杂度。同时,针对损失函数中参数设置对结果造成影响的问题,引入动态平滑L1损失函数,根据预测值与真实值的误差,动态调整参数,促进模型更快速收敛至准确方向。 最后,为了使改进后的模型投入实际应用,本研究设计了一个具有友好用户界面的行人检测系统,可以完成输入视频后的实时检测行人任务。 经过本研究改进后的模型,在自建行人检测数据集上进行实验。实验结果显示,Improved Retina Net的AP达到84.2%,检测FPS达到31.67帧每秒,继续进行轻量化和特征融合加强改进后,AP达到86.3%,FPS达到41.19帧每秒。综上所述,本研究对于Retina Net模型的改进是有效的,在准确度和检测效率上具有较明显优势。

关键词： 水下目标检测   YOLOv5   特征增强   轻量化   注意力机制  

摘要： 海洋生物目标检测技术对于水下机器人捕捞作业具有重要意义,其不仅能使捕捞更加高效,也更加安全。近年来,基于深度学习的目标检测算法已经相对成熟,但在面对水下检测场景时,仍存在一些不足。例如,水下图像模糊、对比度低,易与背景混淆,目标尺度差距较大,在检测中易出现漏检和误检的问题。此外,基于深度学习的目标检测网络具有较高的复杂度和计算量,导致其训练好的模型在计算能力受限的移动设备上难以部署。针对以上两类问题,本文以YOLOv5为基础模型展开以下两方面的研究: 针对水下场景中目标与背景易混淆、多尺度目标特征提取困难等问题,本文提出了一种基于多尺度感知与表征增强的海洋生物目标检测算法,并训练了一个轻量化模型YOLO-MOD-N和更大的模型YOLO-MOD-S。该算法的第一个创新点在于提升了深度学习检测模型对水下多尺度目标的感知能力。首先,将全维动态卷积作为注意力机制嵌入到深层网络中,以提高网络对水下大尺度目标的敏感性。对于水下小尺度目标,设计了一个信息保留下采样模块,以减少严重信息丢失的影响。然后,在浅层网络中引入了上下文Transformer作为注意力机制,以增强网络从小目标中提取特征的能力。该算法的第二个创新点是设计了一个水下空间金字塔池化模块,以增强模型的表征能力。此外,本文还设计了一个轻量级解耦头,以消除分类与定位之间的冲突。在URPC数据集上的消融实验表明,与基准模型相比,所提模型YOLO-MOD-N在精度指标mAP@0.5上提高了2.3%,在mAP@0.5:0.95上提高了4.5%。与其他主流目标检测算法和水下目标检测算法相比,所提算法YOLO-MOD-S的mAP@0.5值为最高的85.9%,mAP@0.5:0.95值为50.2%,位列第二。 受制于水下环境的限制,水下探测设备往往不具备充分的存储和计算资源,这使得基于深度学习的海洋生物检测模型存在难以在边缘设备部署和检测效率低的问题。因此,本文从网络模块轻量化、模型剪枝以及知识蒸馏三个角度出发,逐步对前文所提的海洋生物检测模型进行轻量化改进,提出一种基于组级别剪枝和知识蒸馏的轻量级海洋生物目标检测算法YOLO-PDFM,以实现海洋生物的准确、高效检测。首先,本文设计了一种轻量级的特征提取模块C2-Faster以替代YOLOv5中的C3模块,使模型在保持精度的同时,提高模型检测速度;然后,本文对模型进行组级别剪枝,通过网络层之间的依赖关系进行分组,并通过稀疏训练和参数的相对重要性分数进行剪枝,减少模型的参数量和计算量;最后,本文对剪枝后的模型进行知识蒸馏,在不增加计算开销的前提下,提升模型的检测精度。消融实验表明,本文所提算法可以在尽可能保持精度的前提下,根据需求,成比例地减少模型的参数量和计算量,例如YOLO-PDFM(2.0×)代表着通过剪枝算法减少了约50%的参数量和计算量,并经过知识蒸馏的海洋生物检测模型。对比实验表明,在URPC数据集上,与其他常规目标检测算法和海洋生物目标检测算法相比,本文所提模型YOLO-PDFM(2.0×)是轻量的,且具备较高的检测精度。

关键词： 卫星视频   目标检测   目标跟踪   本征图像分解   时空建模  

摘要： 随着卫星遥感技术的发展,卫星视频作为新兴的地面动态监测手段,因其连续观测、广域覆盖和高分辨率等特点,在城市监控、交通管理、灾害监测、环境保护等领域具有重要应用。卫星视频提供了比传统静态遥感影像更为丰富的时空数据,能够有效捕捉目标的动态信息。然而,卫星视频的特点(低帧率、小目标、光照等引起的背景噪声相对明显)使得运动目标检测与跟踪任务面临着一系列挑战。当前,卫星视频的运动目标检测与多目标跟踪领域已取得了显著进展,但仍面临光照干扰、目标尺寸小且纹理稀缺、低帧率导致的时序连续性建模困难等问题。因此,如何在低帧率和高背景噪声下实现高精度、高鲁棒性的目标检测与跟踪,仍是卫星视频分析领域亟待解决的问题。针对以上问题,本文主要研究了以下内容: 首先,针对卫星视频中的光照变化问题,提出了色彩平滑与物理约束相结合的卫星视频本征分解方法。通过采用色彩平滑模块,有效地解决了因光照不一致引起的分解不稳定问题,通过引入光流引导的背景稳定性约束,进一步提高了背景的时空一致性。 其次,在运动目标检测中,设计了基于稀疏运动区域和置信度重加权的运动目标检测模块。该模块利用本征分解得到的动态分量提取运动区域稀疏掩模,通过稀疏3D残差卷积提取时空特征,结合交并比引导的置信度重加权机制,增强了计算效率和小目标的检测能力,减少了小目标的漏检数,特别是在光照变化的场景中有效抑制了干扰。 最后,提出了一种轻量级跟踪网络,通过三层3D卷积直接提取本征分解得到的动态分量视频特征,采用引入自适应阈值的中心点检测方法检测运动目标位置,最后引入卡尔曼滤波预测下一时刻位置,并和轨迹管理策略协同作用,有效应对低帧率和运动不连续问题,显著减少了目标身份切换和轨迹丢失。

关键词： 视觉目标跟踪   相关滤波   结构化支持向量机   边界框回归   表观模型  

摘要： 视觉目标跟踪是计算机视觉领域的一个重要分支,它关注于在视频序列中对指定目标进行定位和追踪。随着智能视频监控、自动驾驶、机器人视觉、体育分析、无人机航拍等应用的快速发展,视觉目标跟踪技术的研究具有重要的学术价值和广泛的应用前景。然而,在现实目标跟踪视频中的各种干扰因素,例如光照变化、背景混乱、相似物干扰等,给表观状态本就随图像序列动态形变的目标对象增加了被准确跟踪的难度。近年来,随着研究不断深入和发展,基于相关滤波技术和深度学习的方法取得显著进步,表现出优异的跟踪性能。 在目标跟踪过程中,表现观测模型(简称为表观模型)对跟踪决策有很大影响。目标外观以及其在视频中连续变化所呈现出的多样性给表观建模带来了巨大挑战。在基于判别式的视觉跟踪算法中,如何为目标建立鲁棒的表观模型,将目标从背景中判别区分出来,是实现准确定位的关键。基于相关滤波方法的表观模型在鲁棒的机器学习方法中引入循环样本的理念,以利于进行更大规模的模型参数计算,从而提高跟踪效率和鲁棒性;而基于深度网络框架的判别式方法则能学习出比传统机器学习方法更丰富的的监督信息,进一步增强表观模型的精确度。本文将面向低算力平台的无人机视觉目标跟踪建立提升鲁棒性与精确性的表观模型方面进行研究,本文的主要内容概括如下: (1)提出将结构化支持向量(SVM)自然融入到相关滤波框架的方法,从循环的大范围搜索区域截取固定窗口来获得与密集采样等效的真实样本,设计基于交替迭代和ADMM的双层优化方法,并证明优化方法的收敛性。模型强调对目标样本与背景样本之间的差异进行建模,将结构化SVM鲁棒的特性移植到相关滤波框架上,增强相关滤波模型的判别性和鲁棒性。同时,依托循环操作的快速傅里叶变换(FFT)加速求解基于结构化SVM的滤波器参数,充分利用相关滤波的效率,以达到在线更新滤波器的目的。 (2)提出基于特征通道自适应与结构化SVM相关滤波模型联合优化的跟踪方法,来合理化不同特征通道的贡献。该方法为每个通道构建先验可信度权重,并将其作为优化当前通道可信度的正则化项引入到结构化SVM相关滤波模型中,通过通道可信度与滤波器系数交替优化,使模型在训练时能够自适应地权衡不同特征通道的响应的可信度,强化信度高的通道信息,抑制信度低的通道干扰,从而提高模型的判别性和鲁棒性。 (3)提出将通道自适应的结构化SVM滤波推广为具有一般性的时空自适应结构化SVM滤波模型。构建目标模型时,采用组LASSO回归同时抑制特征通道层面和空间层面的潜在干扰。此外,在滤波器训练阶段对目标响应和周围背景施加基于颜色模型的自适应权重,以适应目标外观频繁变化的场景,提高特征利用效率。通过在结构化SVM相关滤波跟踪框架中引入时空自适应正则化,跟踪模型能够有效利用目标信息,减弱因背景干扰而产生漂移的影响,使学习得到的模型更具判别性。 (4)提出光滑IoU损失函数来提升深度孪生网络跟踪的精确性,以避免传统基于IoU损失函数收敛慢且极值不唯一的固有缺陷。提出的光滑IoU损失函数从优化两个统计分布之间散度的角度看待边界框回归问题,构建在全局上连续可微且极值唯一的损失函数,并证明该损失函数自然蕴含边界框各参数之间特定的最优关系。光滑性确保在全局上梯度存在,使得边界框更容易回归到极值处;极值唯一确保在全局上可梯度下降更新参数,其唯一取极值的边界框可使IoU达到最优。提出的光滑IoU损失可以很容易取代IoU损失集成到现有的深度目标跟踪器上提升边界框的精确性。

关键词： 图像显著性目标检测   图模型   多图融合   多特征融合  

摘要： 图像显著性目标检测是通过模拟人的视觉注意力机制估计图像场景中最吸引人的区域的方法,作为计算机视觉任务的预处理步骤,被广泛应用于目标识别、图像分类等问题中。近年来,基于图的显著性目标检测方法因其高效性和简洁性而备受关注。本文针对现有多图方法中存在的图结构与对应权重固定,对噪声敏感等问题,从信息融合的角度出发,提出了两种基于图的图像显著性检测方法。 (1)提出了一种基于自适应多图融合的图像显著性检测方法。该方法首先根据输入特征选择适合的特征度量构造多个图,提出一种新的构图方法,可以根据特征自适应地构造图结构;其次提出多图融合模型,将融合图和权重向量作为优化变量;最后在融合图上使用标签传播算法得到显著性图。对比实验表明,该方法更适用于背景有大片平滑区域的复杂场景,通过非正则图结构减少误差传播,同时在多图融合过程中通过权重优化调整不同图的贡献度,减少误差累积。 (2)提出了一种基于特征融合的图像显著性检测方法。该方法首先采用矩阵分解的方法对特征矩阵进行分解得到稀疏部分和低秩部分,将稀疏部分作为粗糙的显著性图;其次构建一个图模型来精细化初始检测结果;最后使用流形排序算法进行显著性值的传播,通过增加一致性约束和拟合约束的方式来增强相邻图像区域显著性值的连续性。对比实验表明,该方法更适用于包含多个显著性目标的复杂场景,特征矩阵低秩约束增强显著性区域的完整性,抑制背景噪声的干扰。同时稀疏约束对多个显著性目标之间进行差异化处理,避免出现多图方法中显著性目标之间的竞争,从而提升显著性检测的准确性。 本文在MSRA-B、ECSSD、PASCAL-S以及SOD这四个公开数据集上进行实验验证,实验结果表明本文所提的两种方法与现有算法相比,在复杂场景下具有较好的检测效果。

关键词： 火灾预防   可燃物检测   材料光谱分析   高光谱图像   目标检测   特征波段选择  

摘要： 野外火灾防控是国家应急管理工作的重要领域。当前,通过政府相关部门的政策引导和社会各界的共同努力,大型可燃物堆积引发的火灾风险已得到有效控制,未来的防火策略将从集中治理大型堆积物向零散可燃物的精准管控与精细监测方向转变。现有的防火检测方法主要包括人工巡检、可见光图像分析技术和卫星遥感监测等,由于人力效率、检测精度及天气影响的限制,这些方法对大范围复杂环境中零散分布的可燃物普遍存在漏检问题,实际应用效果受限。高光谱成像技术能够获取多个连续波段的图像,利用不同材料在连续光谱曲线中的显著性特征差异,可实现对零散可燃物的精确检测。本文基于高光谱成像技术,利用无人机搭载高光谱相机采集野外零散可燃物图像数据,根据可燃物和背景材料的光谱特性差异,优化目标检测模型,实现野外复杂环境中零散可燃物的精准检测。主要完成了以下工作: (1)可燃物目标统计与成分分析。通过实地调研,统计在草坪和丛林野外复杂环境中存在的常见可燃物类型,发现主要为布料、纸张以及塑料制品等。选取棉布、纸板、编织袋和泡棉四种可燃物作为典型目标,利用傅里叶变换红外光谱仪对其进行材质成分的测定与分析。 (2)可燃物目标高光谱数据集构建与反射率光谱特性研究。首先,利用无人机搭载高光谱相机采集野外复杂环境中典型可燃物目标图像,构建高光谱图像目标检测数据集。然后,基于高光谱图像像素提取可燃物与背景材料的反射率光谱数据,对其进行均值计算处理,建立反射率光谱曲线数据库。最后,基于光谱分析技术分析可燃物与背景材料的光谱特性,通过官能团和化学键的解析,揭示了不同材料在特定波段下的光谱差异性,为野外复杂场景中实现零散可燃物目标检测提供理论依据。 (3)可燃物目标高光谱数据处理研究。首先,采用SG平滑滤波算法和MSC多元散射校正方法对光谱数据进行预处理,减少噪声干扰和光照散射影响。然后,针对高光谱图像相邻波段冗余性强和数据维度高的问题,本文采用最优邻域重构、最优聚类框架和自适应波段选择三种特征波段选择方法进行数据降维处理。通过评估图像信息熵和标准差的对比实验,最终基于最优邻域重构方法,构建各可燃物目标检测数据集中显著光谱特征的最优波段子集。最后,在重新组合的最优波段子集图像中提取可燃物目标材料的光谱特征向量,构建先验光谱信息数据库,为后续目标检测算法的应用提供数据支撑。 (4)可燃物目标检测算法研究。基于可燃物和背景材料的光谱特性差异,研究高光谱目标检测算法。针对传统高光谱目标检测算法鲁棒性差、仅依赖高光谱图像中的光谱信息以及需要设定固定阈值才能精确检测出研究目标的问题,提出一种改进的自适应匹配滤波检测算法。该算法融合高光谱图像中的光谱与空间特征,结合形态学运算,增强目标特征,抑制背景噪声,并通过自适应阈值分割法实现可燃物目标的精准检测。在草坪和丛林两种野外复杂环境下采集到的八组可燃物目标检测数据集中各进行六种算法的对比实验,实验结果表明,本文改进的算法具有良好的检测效果,能够有效突出可燃物目标并抑制背景噪声。相较于传统算法,本文改进的算法在草坪和丛林两种野外复杂环境下的可燃物目标检测数据集中,平均检测精度分别提高了8.34%和5.89%。实验验证了利用无人机搭载高光谱相机在野外复杂环境中检测零散可燃物的可行性,为实现野外火灾预防的精准管控提供一种新方法。