关键词： 目标检测   无人机影像   注意力机制   损失函数   RT-DETR  

摘要： 为了解决在无人机影像目标检测任务中出现的特征信息丢失以及上下文不匹配等问题，提出了一种全新的算法Drone-DETR。在RT-DETR网络架构的基础上，设计了结合并行分块感知注意力的主干网络，解决因多次下采样操作导致的特征信息丢失问题。同时，在混合编码器的跨尺度特征融合模块中引入了上下文特征校准和空间特征校准方法，解决上下文信息不匹配和空间特征不对齐的问题，以更好地聚合无人机影像中的上下文信息，对齐空间特征。最后，引入了一种全新的损失函数MPDIoU，从而更进一步地提升模型的检测精度和收敛速度。在VisDrone2019数据集上的实验结果表明，Drone-DETR的平均精度达到了50.4%，与原始的RT-DETR相比，mAP0.5提升了3.0%。在与各个主流检测模型的比较中，Drone-DETR的检测精度均高于其他主流算法，证明了本文所提出模型的有效性。

关键词： 疵点检测   可变形卷积   YOLOv8n   注意力机制   目标检测  

摘要： 针对生丝疵点小且形态多变导致检测中出现错检漏检的问题，提出一种基于可变形卷积和注意力机制的生丝疵点检测算法。以YOLOv8n为基准模型，首先在主干网络部分将可变形卷积DCNv2融入C2f中形成新的C2f-DCN模块，利用可变形卷积的任意采样形状特性自适应拟合疵点的几何形状，提升模型对不规则疵点的特征提取能力；其次在主干网络末端加入ECA注意力机制，通过跨通道交互抑制背景噪声等无用信息，提高模型对疵点特征信息的关注度；最后在颈部添加一个P2检测头获取浅层语义信息，构建四分支检测层结构，增强对小目标的响应能力。试验结果表明：与原始算法相比，该算法mAP@0.5和mAP@0.5∶0.95达到95.4%、75.9%，分别提升了3.3个百分点和9.0个百分点，模型推理速度达到65.2帧/s。该算法能够有效实现疵点检测，降低疵点的错检漏检现象，同时具有较好的检测速度，满足实时检测要求。

关键词： 域适应   目标检测   伪标签   小目标   无监督检测   多尺度   掩膜   对比学习  

摘要： 针对无监督检测器对小目标与被遮挡目标检测精度不足问题，文中基于Faster RCNN(Faster Regions with Convolutional Neural Network)提出了无监督域适应改进模型。预训练模型在特征提取网络中引入多尺度域对抗模块来提升域不变特征的提取能力，分离对抗参数至辅助主干网络来防止不同目标特征混淆，以免生成高置信度噪声。在引入伪标签自训练代替实例级域适应的同时利用掩膜目标域样本方式构造对比学习，从而提升模型在目标域中的上下文推理能力。实验结果表明，较于现有无监督目标检测算法，所提模型具有更好的迁移检测性能。

关键词： 图像处理   6D位姿估计   三维点云   特征融合   交叉注意力  

摘要： 针对非结构化场景中目标物体6D位姿检测易受前景与背景相似性影响的问题，提出一种基于交叉注意力加权机制的6D位姿检测方法。首先，通过RGB-D掩膜锁定图像ROI区域，利用PSPNet模块提取RGB语义特征，利用PointNet模块提取相应区域点云的全局和局部特征，实现同一目标的双重特征表达；其次，以RGB语义特征和点云特征为输入，构建一种交叉注意力机制特征融合策略，通过引用CA(Cross-attentionmechanism)机制实现RGB特征和点云特征的深度融合，生成内涵信息更为丰富的前景目标融合特征，增强模型对复杂场景的理解能力。然后，以前景目标融合特征信息为输入，在主干网络中引入加权机制SE(Squeeze-and-Excitation)，实现前景与背景相似区域的区分，提升模型在背景干扰和颜色重叠场景下6D位姿估计的鲁棒性。最后，基于目标颜色特征与点云几何变换特征，进一步优化6D位姿估计结果，提升位姿检测精度。对比实验表明，相比DenseFusion方法，本文在LineMOD数据集上平均ADD(-S)结果提升2.5%；在YCB-Video数据集上平均AUC结果提升1.9%。为验证本文方法的工程实用性，开展了真实场景的测试实验，结果表明，整体质心偏差小于2m m，整体角度误差小于1.5°

关键词： 露天煤矿   目标检测   跨模态   PENet   MambaFusion-PAN  

摘要： 在露天矿开采作业中，安全开采是保障生产流程顺利推进的关键，然而露天矿障碍物检测面临复杂环境带来的严峻挑战。传统视觉算法难以满足露天矿复杂的生产场景需求，因其道路环境复杂，暗光致使道路状况难辨，恶劣天气频发，暴雨等严重干扰检测精准度，杂乱矿场背景中有各类机械设备、堆积物与起伏地形交织，且存在多种不同类型障碍物，传统算法局限性显著，已有改进算法在露天矿环境下的适应性与鲁棒性也有待提升。为实现精准、高效检测露天矿障碍，保障矿山运输安全，突破传统算法瓶颈，基于YOLO架构提出跨模态检测模型—Mamba-YOLO-World。该模型采用多模态信息，将文本信息与图像信息相结合来提升检测精度和复杂情况下的障碍物检测。引入MambaFusion-PAN架构深度剖析，优化融合多模态数据，精准提取道路障碍关键特征，借助状态空间模型捕捉各模态内在关联，全方位检测复杂的露天矿生产环境。并且融入PENet，通过拉普拉斯金字塔将输入图像分解为不同分辨率的子图像来捕捉全局语境和边缘分支强化纹理，并大幅提升昏暗光线条件下检测能力；引入文本-图像的组合损失函数推动模型训练精度提升。经筛选整理6000张图片，同时制作对应文本信息，二者结合构建数据集基础，还运用图像增强、降噪、剪裁缩放等技术为实验提供高质量数据支撑。实验表明融入PENet的Mamba-YOLO-World模型与YOLOv8x、YOLOv9e等主流算法对比测试。结果显示，该模型在mPA50%、准确率、召回率等核心指标上优势突出，其中mPA50% 为64.8%。深入分析发现，PENet 显著提升暗光检测效果，组合损失函数赋能多模态数据训练。最终得出结论，融入PENet的Mamba - YOLO - world 模型虽计算复杂度略高，但精度优势明显，相较于传统算法，通过多模态数据融合增强了模型的适应性与鲁棒性，为露天开采提供了一种跨模态的障碍物检测方法。

关键词： 深度学习   目标检测   双模态融合检测   图像融合  

摘要： 随着人工智能技术的快速发展，目标检测与识别的地位日益凸显。基于深度学习的可见光-红外图像融合的目标检测技术具有强大的特征提取和泛化能力，能够有效提取和融合可见光与红外图像特征。首先对基于双模态图像融合检测的发展现状进行概述，并在基于深度学习的目标检测基础上分析双模态图像融合检测的优势，对比介绍常用的数据集和主要的技术难题。其次对基于不同阶段融合的目标检测算法进行总结分析，指出特征级融合检测的优势与主导地位；重点对基于不同基础模型的融合检测算法进行分析和总结，探讨了Transformer在双模态融合检测领域的优势和主导地位，以及Mamba在未来研究中的巨大潜力。最后根据当前可见光-红外图像融合的目标检测研究现状，对未来以实际的开发应用为导向进行了展望。

关键词： 计算机视觉   视觉SLAM   深度学习   目标检测   视觉几何   动态目标干扰  

摘要： NeRF（NeuralRadianceFields，神经辐射场）技术为计算机图形学和计算机视觉的工程与应用带来了革命性的影响，它提供了一种高精度、高质量的三维场景渲染和重建方法。基于NeRF的SLAM(SimultaneousLocalizationandMapping)系统在静态场景中表现优异，具有超越传统密集SLAM 的出色渲染质量和场景重建能力。然而，在具有动态干扰的真实世界环境中，它们可能会出现跟踪漂移和映射误差等问题。为了解决这些问题，提出了一个结合语义特征的实时密集动态神经隐式SLAM系统DIDN-SLAM。首先，系统通过整合语义特征和条件分割的稀疏特征点，为跟踪建立了长期的数据关联。其次，系统利用稀疏光流来过滤动态像素，并提出了一种特殊的光线采样策略，以减轻因动态物体遮挡而导致的场景表征干扰。值得一提的是，DIDN-SLAM支持单目、双目和RGB-D输入，并能以20Hz的频率稳定运行，满足实时应用的需求。最终，在六个虚拟和真实数据集上的实验结果表明，DIDN-SLAM在跟踪和映射性能上均优于最新的先进方法。

关键词： 旋转目标检测   裂纹方向感知   YOLOv8   YOLO11   计算机视觉   智能建造  

摘要： 随着物联网技术在基础设施健康监测中的广泛应用，智能感知设备产生的海量图像数据对裂纹检测算法提出了更高要求。为了克服传统的基于水平框的目标检测方法在识别裂纹时无法输出方位信息且包含大量冗余背景的问题，提出了一种基于旋转框的目标检测方法YOLO-OBB。数据集包含448张路面裂纹图像，通过标注软件为图像赋予方向信息，选取YOLOv8和YOLO11的10个预训练模型作为基准进行训练，最终YOLOv8m-OBB和YOLO11l-OBB取得了较高的mAP，分别为0.862和0.863。使用测试集图像测试时，YOLOv8m-OBB有更好的效果，可有效感知裂纹的方向信息，在桌面端和移动端上检测速度可以分别达到220FPs和90FPs，满足实时检测需要。此外，本项目所提方法也可以扩展到结构工程其他领域，促进智能建造的发展。

关键词： 大型视觉语言模型   计算机视觉   施工安全   智能监控   提示词工程  

摘要： 针对施工安全监控过程中，传统视觉模型构建成本高、应用范围窄等问题，提出基于大型视觉语言模型(LVLM)的全新解决方案。基于开源预训练LVLM模型，提出包括文本提示、图像附加信息、图像样本提示等多类适用于施工安全监控任务的提示词策略，实现LVLM对施工监控图像的理解与推理，并设计了基于LVLM的智能监控工作流程与系统架构。研究成果被应用于管理人员离岗识别、危险区域侵入识别、以及违规施工行为识别等多项典型施工安全监控场景。实际数据验证表明，通过合适的提示词策略，LVLM无需数据标注与模型训练，便可实现接近主流深度学习模型的识别准确率，同时具有构建成本低、落地速度快、任务适应灵活等优势，在图像识别与智能监控领域具有应用潜力。