关键词： 多模态   计算机视觉   视觉问答   目标跟踪   图像分类  

摘要： 近年来,Transformer被越来越多地应用到视觉任务中,研究者们借助其强大的建模能力来统一处理不同模态之间的交互信息。然而,从浅层的表达方式到深层的语义结构,隐式的模态差异问题会给模型的性能和泛化能力带来较为不利的影响。因此,如何实现多模态信息的结构化协同与语义互通就成为了我们接下来需要解决的问题。 基于上述问题,本文围绕图像的几何表征特性,提出了一种受生物感知机制启发的跨模态融合方法,用一种中间的表达形式呈现出来,为模态之间的对齐提供更加清晰的锚点。我们设计了一种新的中间模态,它是基于图像中的线段几何结构构建出来的。通过引入几何感知特征作为结构约束,我们进一步提高了模型在语义融合过程中的稳定性和可解释性。论文的主要创新点如下: (1)提出一种基于上丘引导的图像几何感知方法,利用线段检测器提取得到的关键点构建视觉模态中的几何结构信息,从而提升模态间结构对齐能力。 (2)设计一种多维特征协同机制,用于目标跟踪任务中视觉模态与位置模态之间的信息交互,提升模型的鲁棒性与追踪精度。 (3)构建了一种跨模态融合网络结构,融合视觉、语言及中间模态,引入模拟人脑中侧枕叶复合体的形状感知机制,并设计了辅助模态动态更新策略,以强化模型在复杂语义下的推理能力。

关键词： 低小慢目标   雷达   软件系统   wxWidgets  

摘要： 近年来,低小慢目标的广泛应用带来了安全与监控领域的新挑战。针对其雷达探测与跟踪难点,本文设计并实现了一套基于C++的目标检测与跟踪软件系统。该系统插件式地调用各类目标与传感器模型模块和检测跟踪算法模块,也可控制参数化硬件系统采集和处理实测数据,并实现相关结果的动态显示。旨在获得一套开放性的雷达目标检测与跟踪算法研究与验证的软件平台,并扩展对网络化雷达系统的管理和实测雷达数据的处理能力。 根据雷达系统的功能需求,目标检测与跟踪软件系统的总体架构设计分4层:硬件数据层、应用数据层、模拟与跟踪算法层及人机交互层。硬件数据层设计了与多个可配置雷达硬件系统的控制与数据通信机制,确保数据的高效采集与处理;应用数据层通过接口规范、多线程管理等设计,实现多雷达节点的注册管理与数据维护。模拟与跟踪算法层提供目标、传感器、跟踪器和评估器模块的可扩展功能接口。人机交互层基于易于扩展的wxWidgets框架,构建友好简洁的人机交互界面,提升系统可视化与用户体验。 对具体系统的实现主要讨论以下方面:提供目标的运动模型和扩展模型,描述目标的运动状态与其他属性;通过目标数据产生及矩阵计算库的调用模拟目标的各种运动,完成真实目标航迹的仿真。传感器模拟使用矩阵与正则化计算技术实现了环境杂波、目标量测的模拟功能。采用多线程方法管理网络化雷达节点,实现多节点数据同时采集和维护。在跟踪算法部分,实现了用户Matlab跟踪算法与C++跟踪算法的插件式动态调用。最后,对目标航迹、量测与跟踪算法的输出结果等实现了二维和基于VTK库的三维可视化。 采用本软件系统,按照步骤构建雷达目标跟踪的应用项目,生成机动目标航迹和量测数据,并成功调用机动目标跟踪算法,展示了跟踪航迹结果。此外,配合低空无人机目标雷达外场探测实验,测试了基于10G以太光网通信对硬件系统的配置,成功采集与保存了雷达硬件处理后的连续多帧原始量测数据。

关键词： 桥梁防撞预警   深度学习   船舶检测   船舶跟踪   计算机视觉  

摘要： 随着我国交通运输的发展,航道上的船撞桥事故频发。船舶碰撞不仅损毁桥梁结构,还易导致交通中断和人员伤亡,造成重大社会经济损失。因此,桥梁防撞预警的必要性也日益凸显。当前航道船舶监管主要依托船舶交通服务系统(Vessel Traffic Services,VTS)与船舶自动识别系统(Automatic Identification System,AIS)。然而,VTS系统存在设备部署成本高、基于雷达的监测方式存在覆盖盲区等问题;而AIS系统则依赖船舶自主信息报送机制,易受人为因素干扰。上述技术局限导致现有方法在船撞桥预警场景中难以实现全域有效监测。为此,本研究提出使用部署成本低、适用范围广的视频监控系统作为监测设备,并依托计算机视觉方法完成桥梁防撞预警任务。 研究基于计算机视觉中的目标检测和目标跟踪技术,提出了智能桥梁防撞预警方法,实现了监控视角下船舶位置识别以及船舶航迹跟踪,以及基于划分危险区域的船桥碰撞风险动态评估。主要研究贡献如下: (1)构建了包含11040张图像的船舶检测数据集Ship10000。由于现有的船舶检测公开数据集中的图像类型单一,缺乏不同船型、光照变化、气象干扰及目标遮挡等实际场景,不能满足船舶检测模型的训练需求。对此,本研究通过多种方式采集船舶图像并进行精准标注,构建一个能涵盖上述复杂工况的数据集Ship10000。采用数据集Ship10000进行船舶检测模型训练,试验结果中,数据集Ship10000表现优于公开数据集Seaship7000,这表明使用数据集Ship10000训练模型能更精准检测船舶。 (2)提出了基于EMA-YOLOv8深度学习网络的船舶目标检测方法。针对实际工作中可能出现的复杂检测工况,在YOLOv8网络的基础上引入高效多尺度注意力机制(Efficient Multi-Scale Attention,EMA),通过EMA模块提升主干网络对于图像信息的提取能力。采用本研究构建的数据集Ship10000进行网络的训练和验证,基于EMA-YOLOv8网络的五个模型的m AP50值分别为92.5%、93.2%、92.8%、93.0%和93.0%,表现优异且均优于YOLOv8、YOLOv5和其它同类型网络,证明了EMA-YOLOv8网络的先进性和有效性,可以为预警评估方法提供有效的船舶位置信息。 (3)提出基于Botsort跟踪器和区域划分的防撞预警方法。本研究使用Botsort跟踪器进行船舶跟踪任务,并通过动态识别船舶所在航道区域完成碰撞风险评估。Botsort跟踪器利用船舶检测模型的结果,通过相机运动估计模块保持跟踪前后帧的检测框稳定,并使用Re-ID模块和改进的卡尔曼滤波器对船舶赋予身份ID。根据碰撞发生的可能性将航道及周边水域划分为三个区域,通过Botsort跟踪器识别船舶所处区域进行碰撞风险评估。通过实际航道拍摄的视频中进行碰撞风险评估试验,试验结果表明该方法能有效预警船舶碰撞风险。 本研究针对桥梁防撞预警领域中现有监测技术存在覆盖盲区和信息可靠性不足的问题,提出了基于计算机视觉的智能防撞预警方法。通过实际航道测试表明,该方法通过低成本的视频监控设备,可以有效弥补VTS系统和AIS系统的监测局限,为桥梁安全防护提供了可应用的智能解决方案,对提升航道安全管理水平、推动交通基础设施智慧化转型具有重要实践价值。

关键词： 计算机视觉   缺陷识别   深度学习   输电线路智能巡检  

摘要： 阐述为解决输电线路巡检过程中人工巡检存在的问题，探讨基于计算机视觉的缺陷智能识别方法，设计图像采集与边缘预处理模块，并采用深度学习和多尺度特征建模的方式，通过端到端方式建立一套输电线路缺陷检测系统。

关键词： 多金属结核   丰度评估   水下图像增强   目标检测   水下航行器  

摘要： 未来深海多金属结核矿产开采面临的核心挑战之一是矿产丰度的精准评估。深海自主水下机器人搭载的海底光学探测技术通过高分辨率影像数据,可系统揭示结核矿藏的三维空间分布特征、基底岩性组合及其与微地形地貌的耦合关系。这些定量化影像数据不仅为资源储量建模提供关键参数支撑,更直接影响采矿靶区优选、开采系统参数设计及采矿车作业路径规划等工程决策。 本文采用多金属结核数量、覆盖率、粒径作为多金属结核丰度评估的参数,为了提高丰度评估的准确率,提出了一种基于图像增强和识别技术的多金属结核丰度评估方法,在多金属结核勘探初期,通过结核图像对矿产丰度进行初步评估。主要研究内容如下: 首先,通过对低质量结核图像进行增强,突出结核边缘特征和基本形态结构,提高结核图像清晰度,具体方法为:首先对摄像头捕获的低质量深海多金属结核图像做最大值池化处理提取特征;然后根据光在水体中的衰减速率计算场景深度,将场景深度图应用到Sea-thru算法中,对图像进行增强;采用对比度抑制的直方图均衡化处理,进一步增强图像的对比度。 其次,基于YOLOv12目标检测模型,制作多金属结核数据集,与Mask R-CNN、Faster R-CNN、SSD网络模型比较速度和精度,实验结果显示,该模型在精度、mAP、总损失等方面均表现良好、性能稳定,并基于BoT-SORT算法,对识别的结核目标进行跟踪,有效避免了视频图像中相邻帧之间结核重复计数的问题,证实了其在多金属结核检测中的可靠性和精确性。 然后,针对海底泥沙遮挡导致多金属结核覆盖率计算偏差的问题,采用二值化形态学膨胀的方法予以弥补,以原图像的补集作为Mask,用来限制膨胀结果,结果表明这种方法可以提高多金属结核覆盖率的计算结果;通过将多金属结核拟合成规则球体,结合目标检测模型识别到的结核俯视图,给出处于半掩埋状态下的结核粒径估计的定量表达式,能够进一步提高多金属结核丰度评估准确率。 最后,基于以上图像处理算法,设计了一种深海多金属结核探测航行器,将丰度评估算法部署到航行器上,使用形态与多金属结核相似的火山石模拟海底结核的真实环境,通过搭建水池实验平台,在黑暗环境下,拍摄呈偏蓝绿和低对比度的图像,对图像进行增强和识别;拍摄处于半掩埋状态下的火山石,使用本文粒径预测算法计算结核实际粒径,实验表明,本文提出的粒径预测算法可以实现对掩埋结核的有效评估。开发了一套深海多金属结核丰度评估系统,支持对结核视频增强、统计结核数量、矿物覆盖率、粒径预测等多种功能,能够在实现勘探阶段早期矿产储量的智能化快速预测,为深海采矿经济性评估提供关键数据支撑,同时评估结果也有助于深海采矿车优化采矿路径,提高采矿效率。

关键词： 沥青路面病害检测   YOLOv8算法改进   图像处理   注意力机制   系统开发  

摘要： 我国的道路已全面进入养护阶段,路面裂缝病害的检测与养护成为道路运维管理的关键环节,及时检测和修复道路病害不仅有助于防止更大规模的损坏,降低维护成本,还能延长道路的使用寿命,确保行车安全。因此,精准识别在役道路的病害状况、有效量化病害的影响程度,对于道路的科学管养以及安全运营具有重要的科学研究意义与工程应用价值。近年来,基于计算机视觉的自动化道路检测技术已引起学术界和工程界的广泛关注,但沥青路面病害检测存在道路环境复杂、检测任务数据量大等特点,现有检测算法在检测速度与精度上仍难以满足实际需求。针对以上问题,本文基于改进YOLOv8的沥青路面病害检测方法展开了相关研究,主要工作如下。 (1)开发了新疆地区公路路面病害目标检测数据集。通过Ci CS道路检测车对G3012高速公路小草湖至库尔勒K0～K331段进行道路图像的采集,人工标注与筛选后获得包括横向裂缝、块状裂缝、条状修补等在内的15116张沥青路面病害图片构成原始数据集。针对道路病害目标检测的特点,使用了图像增强技术提高数据集质量,使得深度学习模型在训练中能够更好的提取病害特征,以提高对多种路面病害识别的准确性和在复杂现实场景下的鲁棒性。 (2)提出了一种基于YOLOv8的道路裂缝检测改进算法FCG-YOLO。首先设计改进的C2f＿Faster结构以降低模型参数量和减少计算复杂度。其次,为了提高检测准确率,在骨干部分引入全局注意力机制GAM,以增强算法对小目标裂缝的识别能力,同时改进特征融合金字塔SPPF为SPPFCSPC模块,用于增强算法的特征融合能力。最后,设计了复杂场景下小目标检测对照试验,以验证模型的鲁棒性。实验表明,改进算法在验证集上的检测精度达到了90.3%,检测速度由303帧每秒提升到345帧每秒,相对原始模型提升13.8%,在精度、速度及背景干扰的条件下均相较目前常用的几种算法有较好的性能提升,具备较高的检测效率与良好的实际应用价值。 (3)设计并开发了一种高效且易于操作的道路路面病害智能检测系统。该系统通过Web端页面简化操作,调用改进算法模型,支持批处理任务,显著提升了道路裂缝检测的效率,同时设计了基于My SQL的关系型数据库系统,实现了检测数据与任务信息的高效存储与管理。为公路养护部门提供了可靠的智能化检测解决方案,具有重要的工程应用价值。

关键词： 装配过程监测   无监督领域自适应   语义分割   目标检测  

摘要： 用户需求的多元化致使定制化产品在市场中的份额逐渐增长。定制化产品的装配工艺多变,生产过程中容易出现零件错装、漏装或装配顺序错误等问题,严重影响产品装配的质量和效率。随着深度学习技术的发展,基于计算机视觉的产品装配过程监测已成为趋势。然而,当前基于深度学习的装配过程监测方法大多采用有监督学习方式,需要按照装配体规格标注标签,费时费力。基于此,本文对无监督领域自适应技术展开研究,通过跨域特征对齐等策略,实现无标签数据语义分割和目标检测等计算机视觉任务的有效迁移,为机械体的装配过程监测提供技术参考,研究工作主要包括以下部分: (1)提出了基于装配体法向图的领域自适应语义分割方法,解决了在复杂工业环境中,纹理、光照等因素干扰数据图像采集进而影响装配监测质量的问题。该方法以法向图替代原有彩色图像作为模型输入,设计了包含对抗学习阶段和自训练阶段的无监督领域自适应语义分割框架。对抗学习阶段包含了语义分割特征提取模块和特征判别器模块,其中,语义分割特征提取模块引入了Transformer层和金字塔池化层(PPM),用于改善该阶段的特征提取能力;特征判别器模块用于对齐源域数据和目标域数据,使二者具有相似的特征分布。自训练阶段将微调对抗学习阶段训练模型,进一步优化小体积零件的边缘分割效果。 (2)提出了基于迭代循环策略的合成-物理装配体图像领域自适应语义分割方法,实现了从合成装配体到物理装配体的特征迁移任务。该方法同样采用了两阶段的训练方式,在对抗学习阶段,设计了可训练引导滤波模块和线条特征判别器模块,其中,可训练引导滤波模块以装配体图像、线条图和对应语义特征为输入,以数据驱动的方式优化传统引导滤波参数;线条特征判别器模块用于保持两种数据线条特征的相似性分布;两个模块在训练过程中迭代循环,不断提升线条特征提取能力,优化语义分割模型。在自训练阶段,依据装配体中零件分布特点,提出了利用对比学习处理低阈值伪标签的策略,进一步优化了对抗学习阶段训练模型,提升了装配体图像零件边缘分割质量。 (3)提出了基于图像分割大模型(Segment Anything Model,SAM)的装配体图像领域自适应语义分割方法,以进一步优化模型特征提取能力。该方法将SAM模型与无监督领域自适应框架相结合,借助SAM模型强大特征提取能力和即时交互能力,实现了无标签目标域数据的语义分割任务。针对目标域数据在SAM中的提示问题,设计了基于迭代循环策略的提示生成算法和斜框提示策略,使其能够自适应的提供SAM分割模型所需的提示点和提示框,解决了SAM提示方框中包含过多冗余零件的问题。最后,将线条特征判别器和可训练引导滤波模块引入SAM分割模型,以进一步提升装配体中零件边缘的分割质量。 (4)提出了基于双路径自适应裁剪混合策略的装配体图像领域自适应目标检测方法,实现了装配体连接件的装配监测任务。该方法首先将Mamaba与YOLOv5相结合并融合了集多种图像变换、浮雕化和增强参数多样化为一体的综合性图像数据增强方案,减少了源域数据和目标域数据之间的视觉差异。之后,改进传统图像裁剪混合策略,提出了双路径自适应图像裁剪混合策略并通过软硬损失的共同约束,解决了两种数据数量不均衡导致的训练特征偏斜问题和连接件在裁剪混合过程中的相互遮挡问题。 本文针对无监督领域自适应技术在装配体图像监测中所面临的光照、纹理等因素造成模型特征提取能力不足的问题,提出了包括以法向图为输入的两阶段领域自适应语义分割算法、线条特征迭代循环算法、大模型提示迭代循环算法和双路径自适应图像裁剪混合策略等创新性研究成果,解决了装配体源域数据和目标域数据之间的特征分布差异问题,为实现基于无标签物理装配体图像的装配过程监测提供了技术参考。