关键词： 计算机视觉   RGB-X语义分割   多模态特征融合   场景理解  

摘要： 随着传感器精度的不断提高,研究人员逐渐尝试融合多传感器信息,以提升模型性能。语义分割是计算机视觉的关键任务之一。多模态信息的融合能增强模型对场景的感知和理解,尤其在光照强度低或过度曝光的情况下,传统的RGB模态的表现可能受限,此时辅助模态如深度模态或热红外模态提供补充信息,从而使语义分割模型可以得到更鲁棒和更精细的预测结果。本文聚焦于道路环境下的图像语义分割技术,探究不同模态信息之间的融合方式,对上下文信息进行校准,实现对图像中各类物体的精确分割。本文的主要内容如下: (1)首先,针对使用RGB-X(RGB-D或RGB-T)图像进行道路场景的语义分割,提出一种基于多模态特征融合的图像语义分割模型。该模型采用编码器-解码器架构。编码器部分采用双分支结构,以Vmamba作为主干网络,分别对RGB模态和辅助模态独立提取特征。在此基础上,本文加入了多模态特征融合模块,针对提取到的多分辨率特征,先通过余弦相似度计算各自权重,再按权重进行融合。在解码部分,本文利用一种多尺度特征增强模块,帮助模型更好地利用不同尺度感受野的信息。经过和先进的语义分割网络对比和消融实验,验证了本文所提出方法的有效性。 (2)其次,针对目前主流模型更关注在固定空间进行上下文信息聚合而导致的上下文信息不匹配问题,提出一种基于Mamba高效上下文建模的多模态语义分割模型。该模型分别通过跨模态融合模块实现特征整合,并利用由标准卷积和深度卷积组成的特征增强模块来提升特征表达能力。同时利用上下文特征校准模块,通过像素和上下文的亲和度关系为每个像素单独聚合上下文信息,从语义更相近的区域而非空间区域来对像素进行上下文聚合,以更好地理解图像中的语义关系,提供更准确的全局语义线索。对于还原不同尺度的特征时,通过混合有通道注意力和空间注意力的Mamba模块,获得关注通道和空间信息的特征图,从而得到更精准的语义分割图。在Cityscapes数据集和MFNet数据集上的实现结果表明,本文的方法比主流算法效果更好。

关键词： 多目标跟踪   目标重识别   跨模态   重排序  

摘要： 随着人工智能技术的飞速发展和智慧城市建设的深入推进,智能监控系统在社会安全、交通管理、工业生产等领域发挥着越来越重要的作用。目标跟踪与重识别作为智能监控领域的核心技术,能够在大规模监控网络中实现对特定目标的精准定位和检索,对于提升监控系统的智能化水平具有重大意义。然而,现实场景中目标外观和运动模式的多变性、复杂背景的干扰、摄像机风格和位置的差异等因素,对系统的定位与识别性能提出了严峻挑战。 本文聚焦于目标跟踪与重识别领域中的关键技术,分别从启发式离线框架设计、高效跨模态训练与推理、以及辅助信息挖掘和重排序三个方面进行了深入研究,提高了目标跟踪和重识别模型的准确性和鲁棒性。本文的主要研究内容包括: 1.提出了一种基于启发式策略的混合多目标跟踪框架,从外观特征提取与维护、运动信息估计与相机运动补偿、匹配损失与算法等多个方面,对经典跟踪算法DeepSORT进行优化,提升了跟踪算法的准确性。同时针对关联丢失问题,设计了不依赖视觉信息的轨迹连接性预测模块,在不明显增加推理成本的前提下,提升了跟踪的稳定性。针对检测丢失问题,提出了一种基于高斯过程回归的插值策略,增强了非线性运动场景下的插值准确性,并为下游任务提供了更稳定的目标轨迹。在MOT17、MOT20、DanceTrack、KITTI等多目标跟踪数据集上的实验,证明了所提出的框架和优化方法的有效性和鲁棒性。 2.提出了一种层级启发式多目标跟踪框架,使用递增的轨迹间隔阈值作为层级划分基准,所有层级使用相同的关联算法设计和阈值,构建了统一的离线跟踪框架,提升了目标帧间的关联稳定性。同时针对多目标跟踪算法中存在的,即目标尺寸不一致、相机运动不一致和层级信息不一致三种问题,通过改进关联算法分别提出了相应的解决策略。在MOT17、DanceTrack、KITTI和VisDrone等多目标跟踪数据集上的实验,验证了所提框架的灵活性和鲁棒性。 3.提出了一种文本多目标跟踪框架,能够根据自然语言描述跟踪特定目标。具体地,首先设计了一种级联跨模态跟踪框架,通过将该任务解耦为目标跟踪和跨模态轨迹筛选两个子任务,避免模型优化过程中的任务竞争问题,并降低训练和推理计算成本;然后提出了一种跨模态轨迹理解模块实现基于文本描述的轨迹筛选,并研究了三种基于文本信息指导的视觉特征提取策略,从而缓解跨模态“一对多模糊匹配”问题对模型训练和推理的影响。在多个数据集上的实验证明,所提出的框架不仅取得了最优的跨模态跟踪性能,还降低了模型训练和推理成本,提升了其在实际应用场景中的适用性。 4.构建了大规模像素级对齐的“可见光-红外”跨模态目标重识别数据集,并设计了一种基于部分共享双分支网络的时域跨模态重识别基线框架。同时为了充分利用单摄像机样本,提出了一种基于动态课程系数的联合学习框架;在推理阶段,提出了一种交叉时域操作来建模样本间细粒度时域相关性信息,优化k互近邻重排序算法。实验结果表明,所提出的方法缓解了样本模态差异造成的干扰。 5.提出了一种基于粗略文本描述辅助的跨模态目标重识别框架,能够通过文本信息补充样本中缺失的模态特征,提高模型的检索能力。具体地,为了解耦目标中的判别性特征,提出了一种双分支解耦网络,实现目标纹理特征和颜色特征的解耦和聚合。训练阶段,提出了一种基于文本IOU的正则策略来稳定颜色编码器的优化过程。推理阶段,提出了“约束搜索”、“划分搜索”和“扩展搜索”三种近邻搜索策略,缓解近邻样本中的模态偏差问题。在SYSU-MM01、RegDB和LLCM等数据集上的实验,验证了所提出的文本辅助策略和跨模态重排序方法的有效性。

关键词： 动态环境   目标检测   阴影去除   Kalman滤波   位姿预测  

摘要： 随着“中国制造2025”战略的深入推进,智能制造领域在工业自动化装备与视觉检测技术方面取得了显著进展。研究人员通过在机械臂系统中集成视觉传感装置,有效提升了设备对作业目标的类别识别与空间定位能力,从而更好地适应现代化智能制造场景的应用需求。本文以运动目标工件为研究对象,针对实际应用中受背景干扰、光照阴影及视野约束等复杂工况影响,开展对运动工件的检测与跟踪预测定位研究,并搭建了一种动态目标识别抓取系统。本文的具体内容如下: (1)针对在检测过程中因光照不均导致目标被误检以及存在阴影等问题,提出一种结合HSV颜色空间的改进高斯混合建模算法。采用权重归一化更新背景模型提取前景的方法有效解决了背景反光干扰的问题,引入HSV色彩空间,并基于该色彩空间进行了多重特征阈值判断,以达到去除阴影干扰、提高检测精度的目的,为后续工件定位做准备。 (2)对动态目标跟踪预测定位和抓取控制展开研究,针对目标在移动到相机视野外时存在Kalman滤波算法观测数据误差偏大导致目标跟踪定位丢失的问题,设计了一种结合CV运动模型的Kalman滤波预测定位算法。根据当前时刻预测值和上一时刻后验估计值推断出当前时刻的状态估计,解决了受视野约束的观测数据丢失问题,实现了对运动目标的预测定位。 (3)针对视觉-机械臂集成系统的硬件架构开展了选型与设计工作。本文构建了完整的抓取系统的硬件平台及软件通信架构,对系统的软件开发环境以及界面进行了设计,同时对系统各模块的设计方案与实现方法进行了详细阐述。 (4)为检验所提算法的有效性。分析了摄像机成像过程中涉及的多维空间坐标变换问题,建立了摄像机坐标系与机械臂基座标系之间的空间映射关系模型。运用提出的视觉算法对运动目标进行识别,在基于自主构建的视频流测试数据集上开展了运动目标物体跟踪定位算法性能对比实验。实验结果表明,所提出的方法在各项评价指标上均表现出优越性能,具有实际应用价值。

关键词： 信息处理技术   水下目标识别   成像声呐   图像处理  

摘要： 阐述了侧扫声呐、合成孔径声呐和前视声呐在图像分类、检测以及分割任务中的目标识别算法及其解决的主要问题。通过结合不同声呐的成像特点与应用场景，分析总结上述成像声呐对应图像处理任务下的目标识别算法的优劣及仍需解决的关键问题，并展望其未来发展方向。

关键词： 深度学习   单目视觉   深度估计   3D目标检测   跨尺度特征融合  

摘要： 近年来,无人机技术在军事领域的战略价值日益凸显,其低成本与高机动性特征构成大规模作战核心竞争力。作为目标跟踪与路径规划的基础,3D目标检测直接影响无人系统的战场感知能力。单目视觉具有结构简单、成本低廉的优势。但由于单目相机缺乏深度感知信息,相比基于激光雷达、双目相机的3D目标检测在精度上受到限制。因此本文提出一种基于无人机单目视觉下的3D目标检测算法,通过融合单目深度估计网络生成的深度图,结合深度信息优化3D目标检测精度。为验证算法性能,本文构建了针对近距离复杂场景的自建数据集,涵盖了复杂背景和遮挡等情况,并引入公共数据集以补充多样化的目标尺度与视角分布,本文的主要工作如下: (1)针对无人机单目视角场景下多尺度目标增多的问题。本文提出基于多尺度特征融合的单目深度估计算法。首先为了提取更多的特征信息同时降低计算量,采用EfficientNet作为主干网络;其次使用空洞空间金字塔池化ASPP增强多尺度特征表达能力;接着为了减少编码器与解码器下采样期间丢失的浅层纹理细节信息,引入对称跳跃连接;然后为了提升深度图中目标边界的结构一致性和边缘对齐精度,同时细化其纹理细节,引入多尺度结构相似损失函数MS-SSIM;最后通过与不同算法进行实验及消融对比,证明本文改进的单目深度估计模型在自建数据集与公共数据集在RMSE和REL等指标上性能更优。 (2)针对深度图辅助的单目3D目标检测中跨模态特征建模不足的问题。本文提出基于RGB与深度图跨模态融合的单目3D目标检测算法。首先通过结构裁剪的并行双支路编码器分别对RGB图像与深度图进行特征提取,并设计Transformer架构实现跨模态特征融合;其次为了保持计算效率的同时增强特征表达的局部细节感知与全局空间感知能力,引入动态组合多头注意力机制DCMHA模块增强在局部细节和全局建模能力;此外为了降低高密度目标场景漏检率和NMS耗时,采用Soft-NMS使用降低漏检率,最后在损失函数中引入w Io Uv3损失减少低质量样本对性能的影响。最后通过数据集实验测试,证明提出的模型在低空角度对目标能够实现有效的3D目标检测。

关键词： 变色瓜   目标检测   YOLOv8   多尺度路径聚合网络   模型剪枝  

摘要： 变色瓜指的是果实在成熟过程中外表会发生颜色变化的葫芦科植物,这种集观赏和食用于一体的果实具有可观的经济价值。针对在变色瓜果实所处场景中存在光线变化、果实重叠和叶片遮挡等问题,以及模型在边缘设备上轻量化部署问题,本文基于目标检测算法YOLOv8进行改进。在模块上设计逐级扩张残差重参数块、多尺度路径聚合网络和引入新的损失函数来提高模型对果实检测的准确度,再结合多种模型剪枝算法对改进后的模型进行剪枝处理和微调训练以适用边缘设备部署模型的要求。本文主要工作内容如下: (1)针对复杂场景中果实检测的准确度较低的问题,本文提出轻量化改进YOLOv8模型。在网络的特征提取部分(即骨干网络)设计了逐级扩张残差重参数块替换用于特征提取的C2f模块内的Bottleneck,在不增加网络深度的同时增大感受野,以构建更强大、更全面的特征表示。在网络的特征融合部分(即颈部网络)设计了多尺度路径聚合结构,该结构采用多层特征融合的方式汇聚多尺度特征,增加了一个自下而上的特征融合模块,利用低层特征对于目标定位更精确的特点强化定位信息,从而有效关注到那些受背景因素干扰的果实。在损失函数部分(即头部网络),将回归损失替换为α-Io U,通过自适应重新加权的方式提高边界框回归的准确性。最后通过实验证明了改进方法对于复杂场景下模型准确识别果实类别的有效性。 (2)针对模型的整体结构较为复杂和庞大的问题,在模型训练完后本文对其进行剪枝,从而缓解模型结构过深的问题。利用Random、L1-norm以及Lamp的剪枝算法和剪枝率对改进模型进行剪枝实验,并对前向传播方法中原有的Split操作进行了优化。随后,通过在原数据集上进行微调训练来对模型参数进行调整,以此恢复模型对变色瓜果实成熟度的检测性能,确保模型能够在移动终端或资源受限的嵌入式设备上的应用和部署。 (3)本文基于模型剪枝后的Pruned-HAM为后台算法模型,依托Python 3.9和Py QT5框架设计并实现变色瓜果实成熟度检测系统,为用户提供变色瓜果实成熟度检测的工具。

关键词： 三维点云   目标检测   无人驾驶   特征提取   空间增强  

摘要： 现代城市交通环境对无人驾驶汽车的环境感知能力提出了更高要求。尽管传统二维图像感知技术已广泛应用,但在复杂场景中难以完整获取目标的立体信息。三维点云目标检测技术通过激光雷达等传感器可精准感知环境三维信息,然而现有方法仍存在点云稀疏性处理不足、多尺度特征融合不充分以及空间通道表达能力有限等问题。为了解决这些问题,本研究在经典的Point Pillars网络基础上,提出了一系列改进与优化策略,旨在提升目标检测精度和模型的计算效率,同时增强网络对复杂驾驶场景的适应能力。本研究主要工作如下: (1)针对Point Pillars特征提取模块中传统随机采样方法易丢失重要特征的问题,本研究设计了一种基于点柱聚类采样的优化策略,该方法采用DBSCAN密度聚类替代了传统随机丢弃法,通过中心采样保持特征点内点数的均匀性,从而减少噪声和密度不均的问题。此外,本研究还提出了混合池化扩展卷积层,增强了特征的多尺度表达能力,在有效应对点云稀疏性的同时,保留关键信息并融合空间、通道维度的特征表达,提高了点云处理的质量。 (2)针对Point Pillars骨干网络中传统堆积卷积难以充分学习不同层之间的特征关系,且空间和通道维度特征的协同增强能力有限的问题,本研究对骨干网络进行了改进,设计了一种深残差结构(DWRS),以加强不同层之间的特征关系学习,同时提升网络的深度和宽度,以增强特征表达能力。此外,结合空间通道协同增强模块(SCS-EM),从空间和通道两个维度优化特征表达,提高骨干网络对关键特征的捕捉能力。 (3)针对Point Pillars颈部网络采用传统FPN结构导致的上采样策略有限、难以有效重组特征信息,以及对不同尺度特征的适应能力不强的问题,本研究提出了一种优化改进方案。采用CARAFE动态上采样结构,增强对地理框架和重组特征信息的适应能力,并添加混合尺度密集连接模块(MSD-DC),旨在增强感知上下文信息的能力,使网络可以应对不同尺度进行更优的特征提取和融合,提高三维目标检测的整体性能。

关键词： 挺身式跳远   姿态匹配   运动评估   单目视觉测速   计算机视觉  

摘要： 挺身式跳远是田径运动中的基础项目,对运动员起跳姿态、腾空控制及落地稳定性要求较高。然而,传统对于这项运动的技术评估方法依赖于人工观察和经验判断,主观性较强,难以提供量化的分析。虽然视频回放分析在一定程度上改善了评估效果,但仍缺乏实时反馈和精准匹配机制,难以满足体育教学和个性化训练需求。 为此,本研究提出基于计算机视觉的挺身式跳远智能评估方法,构建智能分析和评价系统,结合姿态匹配、运动评估和助跑测速,量化分析运动员技术表现。该系统基于HRNet-W32深度学习模型提取运动员跳远过程中的17个关键关节点,并通过卡尔曼滤波与双向LSTM进行轨迹优化,提高数据稳定性和时序一致性。本文的主要工作: 1.提出融合动态时间规整(DTW)与余弦相似度的姿态对齐算法,并构建基于相对L?距离的评分机制。该方法可实现挺身式跳远中起跳、腾空、收腹三个阶段动作的精准匹配与稳定评价,增强了姿态评估在多样体型与复杂环境下的鲁棒性与一致性。 2.设计了无标定单目视觉测速方案,结合人体比例建模与图像透视补偿,在无专用硬件设备条件下实现助跑速度的高精度估算,实验验证该方案的平均误差低于9.4%,具备良好的工程实用性和可推广性。 3.开发了挺身式跳远智能分析系统。系统通过运动员的挺身式跳远全过程视频流提取人体关键点并实现姿态评估与评分。实验结果表明,系统在自建数据集上的姿态匹配F1-score达到89.6%,较传统滑动窗口方法提升15.4%;助跑测速误差低于9.4%,测速精度满足挺身式跳远的课程教学运动分析需求;系统评分与专家人工评分的相关系数为0.85,说明系统评分具有较高的有效性和可靠性。此外,系统能够在10s内完成姿态估计与评估,满足实时体育教学与训练要求。相较于传统方法,本研究的智能分析系统不仅提高了运动技术评估自动化水平,还能提供个性化反馈,辅助运动员优化技术动作,提升运动表现。 本研究为挺身式跳远智能教学和训练提供科学、客观的技术分析工具,具备广泛应用于学校体育教育、运动训练及竞技体育评估的潜力。同时,研究方法可推广至其他田径项目(如三级跳远、跨栏、短跑起跑分析等),为运动生物力学和人工智能在体育教学中的应用提供技术支持。

关键词： 计算机视觉   目标检测   YOLOv5   金字塔池化  

摘要： 阐述针对城市轨道交通领域地铁维修工具的精确管理，提出一种基于改进YOLOv5s算法的检测模型。该模型引入ConvNext模块以增强特征提取，并在卷积层中集成SPPCSPC＿group模块，通过空间与通道金字塔池化机制提升多尺度特征融合。优化的SIOU Loss损失函数进一步提高了识别精度。实验结果表明，改进模型在mAP0.5指标上达到0.953的准确率，较原始模型提升8%。该模型在保持轻量化的同时，实现了高检测精度和快速处理速度，有效满足了实时工具识别与分类需求。