关键词： 可见光-红外图像   图像融合   目标检测   特征解耦  

摘要： 在多模态图像融合领域,面向下游任务的图像融合方法备受关注。检测驱动的图像融合方法关注如何更加有效地利用隐含互补信息的模态差异来提升检测任务的性能,研究融合网络与检测网络级联的系统。这种任务导向型的融合范式构建了端到端的检测驱动型融合架构。传统方法通常以常见图像质量评价指标作为网络学习的优化目标,而检测驱动的融合方法则通过建立检测损失反馈机制,使融合过程直接服务于目标定位与分类的核心需求,在特征空间实现模态互补信息的最优重组。 本文针对多模态图像融合领域提出了一种检测驱动的图像融合方法,利用部分信息分解理论,将多模态的信息进一步分解成冗余信息、独特信息和协同信息,并通过对协同信息的处理提高目标检测任务的性能。 首先,设计了一种基于变分自编码器的RGB-T图像融合网络。该网络将模态信息分解为冗余信息和独特信息,并进行RGB-T图像融合。在RGB-T数据集上从定性和定量两个角度分别与先进的图像融合方法进行了比较,其中SSIM指标为最优,验证了该网络的有效性。 其次,利用部分信息分解理论及估计算法,针对常见的RGB-T目标检测数据集进行了部分信息分解统计量估计,并对结果进行了分析。通过实验验证了多模态互补性在复杂任务中的重要性,也为后续图像融合与目标检测多任务网络的设计提供了指导。 最后,提出了一种检测驱动的RGB-T多模态图像融合优化框架,通过构建串行式网络架构实现图像融合与目标检测任务的协同优化。该框架采用分阶段处理流程:首先通过改进的变分自编码器进行跨模态特征解耦与融合,随后将生成的融合图像输入目标检测网络进行联合训练,形成检测反馈驱动的闭环优化系统。在RGB-T多类别目标检测数据集上,该方法在m AP@0.5（M3FD:86.8,MSRS:92.5,Multi-spectral Object Detection:60.7）上优于其他现有方法,并在消融实验中验证了各设计的有效性。

关键词： 目标检测   DETR   最优传输   跨阶段匹配  

摘要： 在计算机视觉领域,目标检测是一项至关重要的任务,主要用于定位图像中各个物体并识别其所属类别。自从DETR(Detection Transformer)模型的提出以来,基于Transformer的目标检测器取得了显著进展。然而,一些基于DETR的检测器,如AdaMixer和Sparse-RCNN,由于其复杂的头部结构,存在训练时间较长和对小物体检测精度不足的问题。针对上述挑战,本文提出了两种基于单解码器层的目标检测器,旨在提升检测精度和速度,特别是在处理小目标和复杂场景时的能力。具体贡献如下: (1)最优传输解码器(OTD):本文创新性提出了一种解码器架构,使用补丁作为基本预测单元,避免了传统DETR中采用特征金字塔结构的复杂性。OTD引入了显式特征金字塔结构,位于骨干网络和解码器之间,在不增加计算复杂度的情况下增强了多尺度图像表示。通过最优传输方法对框分布进行对齐,设计了计算模型损失的方法,使其能够朝着全局最优解收敛,即使在处理复杂场景和小目标检测时也能保持高效。实验结果表明,OTD在性能上超过了现有的相关检测器。 (2)跨阶段匹配检测器(Tran Interaction):本文提出了一种基于查询的跨阶段匹配检测器,在前向传播过程中,该方法通过复用动态算子并引入轻量级适配器来增强模型的建模能力。在标签分配方面,设计了一个跨阶段标签分配器,旨在改进传统的一对一标签分配策略。通过该分配器,训练目标类别标签在各阶段之间进行收集,并重新分配到适当的预测上。此外,结合使用一对一和一对多监督,在候选生成期间提供清晰的监督,从而提高模型的训练效率。实验结果表明,Tran Interaction在性能上优于现有的相关检测器。 综上所述,本文提出的两种基于单解码器层的目标检测器,在提升检测精度和速度方面取得了显著进展,特别是在处理小目标和复杂场景时表现出色。这些研究成果对目标检测领域具有重要意义。

关键词： 遥感影像   轻量化   目标检测   注意力机制   YOLO v7  

摘要： 针对背景复杂、目标尺度差异性大且分布不均的高分辨率遥感影像，现有算法无法同时兼顾检测精度与检测速度等问题，以YOLO v7为基础提出了一种局部—全局检测器（Local-Global Detector, LGDet）的轻量化目标检测网络。首先，采用部分卷积（Partial Convolution, PConv）对其主干和颈部网络进行压缩，减少模型的参数量与运算量；其次，设计了快速傅里叶联合部分卷积模块，构建了局部和全局感受野结合的轻量化特征提取网络；最后，提出了一种轻量化三元注意力模块，增强了有用特征。在RSOD和NWPU VHR-10数据集上进行了实验，本算法的mAP分别为93.4%和90.5%,FLOPs为87.9 G，与YOLO v7相比mAP分别提高了2.8%和2.3%,FLOPs减少17.3 G。结果表明本算法在计算复杂度更低的情况下具有更优异的遥感影像目标检测精度。

关键词： 人体姿态估计   2D   3D   计算机视觉  

摘要： 作为计算机视觉领域中的一个重要研究方向，人体姿态估计尤其是单人人体姿态估计，在近年来取得了显著的进展。文章将姿态估计分为2D与3D两个层次来展开介绍。首先简要回顾目前关于2D人体姿态估计的发展历程；然后重点阐述目前较为流行的三种2D人体姿态估计算法和更先进的3D人体姿态估计算法，并对它们分别进行详细说明；在此基础上，给出一个完整的姿态估计框架，以便相关研究人员更好地了解现有研究成果并解决所面临的难题。同时，文章针对现阶段存在的主要问题及其未来发展的趋向做了简单总结。

关键词： 车路协同   数据配准   目标跟踪   深度学习  

摘要： 自动驾驶技术的不断发展加速着智能交通体系的演进,近几年来,车路协同(Vehicle to Everything,V2X)技术成为研究热点,其主要通过多源传感器的信息交互与数据共享机制提升环境感知能力。多传感器数据配准是实现数据融合的重要前提。车端与路侧激光雷达的视角偏差、点云密度差异、重叠度动态变化等因素,使得数据配准过程面临多维挑战。目标跟踪作为环境感知的重要部分,其性能直接影响着感知系统的整体表现,当前的多目标跟踪算法大多以单一数据作为输入,无法直接处理车路协同场景中的多源数据输入。 本文面向V2X场景,系统地研究车路两端点云配准算法和多目标跟踪算法。配准算法采用基于点云描述符特征的方法,在网络中设计了两个自适应学习模块,完成车路异构点云的空间对齐。跟踪任务采用基于检测的跟踪范式(Tracking-by-Detection,TBD),学习检测框的形状特征与时空信息计算亲和矩阵,通过矩阵中的匹配关系实现了跨帧数据关联。本文的两个任务相互协作,为车路协同感知系统提供数据基础和感知技术方案,本研究主要贡献如下: (1)本文设计了面向车路协同的在线自适应点云配准方法OAReg Net,以解决现有配准方法在V2X场景的不适用性。针对车路点云密度差异问题,设计了自适应密度学习模块,通过局部密度学习优化关键点选择。针对点云视角差异与重叠度动态变化问题,设计了自适应特征融合模块有效融合多种特征,以选取可靠的对应点。在DAIR-V2X数据集上进行实验,配准召回率达到95%,配准精度较传统配准方法和深度学习方法都有明显提升。本文提出了一个配准算法有效性验证环节,在V2X目标检测任务中应用配准结果,证实了感知算法性能与数据配准质量的正相关关系。 (2)本文设计了基于数据关联的多目标跟踪方法Track V2X,实现了V2X场景中多源点云的目标跟踪任务。基于车路两端传感器的点云数据,设计了一个亲和矩阵计算模块用于优化跨帧检测框匹配。通过学习检测框之间的时空关系和形状特征,得到亲和性矩阵,实现数据关联和生命周期管理。在V2X场景中可以实现动态目标持续跟踪。Track V2X在V2X-Seq数据集保持0.47平均多目标跟踪准确度。实验结果证实了本研究的实际效果,为车路协同感知系统提供可靠算法支撑。

关键词： 轨迹预测   人机交互   风险监测   BIM技术   计算机视觉  

摘要： 建筑行业因作业环境动态变化及职业伤害频发被视为高风险领域。尽管已有多种技术手段用于改善施工人员与建筑环境之间的空间关系交互安全管控问题,但碰撞事故仍是施工伤亡的主要原因之一,尤以施工人员与机械车辆作业空间重叠引发的事故最为突出。目前基于历史数据的被动式风险评估存在一定的滞后性,研究表明采用轨迹预测等领先指标可提前识别风险征兆,推动安全管理向主动预防转型。基于此,本研究侧重于“轨迹预测-风险识别-预警触发”的控制流程,旨在通过空间冲突预判与快速响应机制降低施工现场人机碰撞事故发生率。 本研究首先通过对研究背景和相关理论、成果进行综述,总结了当前施工现场安全监测和碰撞预防研究的缺陷,梳理了计算机视觉技术、深度学习方法及BIM技术在建筑安全领域中的应用价值与存在问题。为规避数据采集过程中可能涉及的安全隐患与成本压力,本研究使用BIM技术平台模拟创建施工场景数据集,构建人机轨迹预测框架和人机交互碰撞风险监测框架。实验证明,本研究所构框架实现了作业人员与施工机械车辆碰撞风险的实时精准监测(误报率<5%)。 实验结果表明:(1)本研究创建的人机轨迹预测框架经过模型训练和分析,轨迹数据处理模块的单轨迹解析耗时稳定在30.8ms,系统整体处理能力达到32帧/秒,可满足复杂施工场景的毫秒级实时性需求。经实验证明,轨迹预测模块的位移偏差均值控制在0.15米以内,显著提升了空间冲突预警的可靠性,误警率较传统方法下降41%。(2)本研究创建的人机交互碰撞风险监测框架经实验验证在风险识别精度与响应效率方面均表现出显著优势,较传统人工巡检方式误报率降低32%,同时能够降低安全管理人员70%的常规巡检工作量;预警模块可提前5-12秒识别潜在碰撞风险,响应速度提升4.7倍,为施工人员提供避险时间窗口。研究形成的技术框架突破了静态风险评估的时空局限,通过验证累计避免高危事故3起。 综上,本研究聚焦工人协同机械车辆作业的安全管控难题,基于计算机科学中的实时感知技术与工程管理中动态风险评估理论的融合,构建了人机轨迹预测框架和人机交互碰撞风险监测框架。实时解析人机移动轨迹与空间交互特征,形成“感知-分析-预警”的监测机制,为施工现场数字化转型提供了可量化验证的技术路径。

关键词： 图像处理   共聚焦显微内窥镜   畸变校正   蜂窝伪影   图像错位  

摘要： 错位、畸变以及蜂窝伪影是光纤束共聚焦显微内窥镜图像中存在的常见问题，这些问题严重破坏了图像包含的信息，阻碍了对图中目标物体的进一步分析与研究。为了有效地恢复图像所包含的信息，本团队提出了一种共聚焦显微内窥镜图像校正与重建的综合方法。该方法使用基于Delaunay三角剖分的插值法去除蜂窝伪影，并将错位和畸变校正过程与Delaunay三角剖分相结合，避免了重复评估图像的错位量以及重复进行畸变校正。本团队搭建了光纤束共聚焦显微镜实验装置，并通过实验对所提图像重建方法进行了验证。实验结果表明，本文方法有效消除了错位、畸变以及蜂窝伪影。与将高斯滤波、错位校正和畸变校正简单结合的重建方法相比，本文方法重建图像的对比度噪声比提升约1倍。

关键词： 高效目标检测   航空图像   注意力机制   卷积神经网络  

摘要： 针对航空图像目标检测中普遍存在的图像尺寸过大、目标密集分布等关键难题，本文开创性地引入了目标图像块激活策略，不仅解决了传统方法在处理航空图像时效率低下的问题，而且显著提升了复杂场景下的精度表现，对推动航空图像目标检测技术的发展具有重要意义。现有的航空图像目标检测技术通过简单裁切图像块的方式进行处理，不仅效率低下，还因大量无效图像块的检测导致资源浪费与误检率上升。因此，本文提出了一种目标图像块激活模块（TIBAM），该模块通过引入卷积注意力机制，使检测器能够专注于包含目标物的有效图像块，从而减少在无效图像块上的资源浪费，实现了对潜在有效图像块的智能识别与处理。TIBAM的引入，为检测器带来了超过17%的推理速度提升，还实现了检测精度的稳定提升，为高效、精准的航空图像目标检测提供了创新性的解决方案。本文通过在主流的一阶段检测器Retinanet和两阶段检测器Faster-RCNN中集成TIBAM模块，以及在Visdrone航空图像数据集上进行验证，充分展示了该模块的实际应用价值与广泛适用性。

关键词： 正射校正   Faster R-CNN   目标检测   极化合成孔径雷达   金字塔结构  

摘要： 受地形起伏和环境因素影响，PolSAR(极化合成孔径雷达)遥感图像目标检测常因几何畸变未有效消除而精度不高。为此，文章提出一种基于正射校正和Faster R-CNN(快速区域卷积神经网络)的检测方法，通过建立地图坐标与PolSAR图像的坐标转换关系，并采用多项式模型拟合坐标偏移量，实现几何畸变校正。在Faster R-CNN框架基础上引入特征平衡金字塔模块，增强多尺度特征融合能力；利用RPN(候选区域网络)生成候选区域，并结合分类回归网络提升检测精度。实验结果表明，该方法在边界框重合度等指标上表现良好。