关键词： 目标检测   倒置残差   位置编码   注意力机制   道路裂缝  

摘要： 阐述一种基于Transformer的轻量化道路裂缝检测算法。首先引入倒置残差移动块，并将其与级联分组注意力机制深度融合，构建iRMCGB模块提高模型学习长距离交互的能力。在Transformer编码器部分采用一种可学习的位置编码，使模型可以不受周期性限制，更灵活地捕获更加复杂的序列模式和相对位置，从而提高模型检测性能。最后使用加权双向特征金字塔BiFPN优化CCFM模块，实现多尺度特征融合，提高检测的准确性和鲁棒性。实验结果表明，改进算法与原算法相比，在参数量降低了20.2%的同时mAP值提高了2.2%，证明所提的道路裂缝检测算法的有效性，为道路裂缝的实时高精度检测提供理论基础。

关键词： 焊缝打磨机器人   深度学习   视觉引导   目标检测   机械臂  

摘要： 焊缝打磨是制造业中重要的后处理工序,影响着产品外观质量、结构强度与使用寿命。目前,主流的焊缝打磨作业还依赖于手工打磨,存在着打磨效率低、一致性差、人员工作环境恶劣等问题,亟待自动化设备的引入。然而,自动化焊缝打磨在实际应用中面临诸多难题,尤其是在工业环境中光照条件不稳定及焊缝形状复杂的双重影响下,传统视觉算法难以保持稳健的识别效果。为了解决上述问题,本文设计了一种基于视觉的焊缝打磨系统,主要针对打磨机器人在工业环境下的焊缝识别定位问题和焊缝打磨路径生成问题进行了以下方面的研究: (1)设计和搭建了一套焊缝打磨机器人硬件和控制系统。完成了焊缝打磨机器人部件的选型和硬件搭建,建立了机械臂D-H参数模型并推导运动学解算公式;建立了相机的成像模型并完成相机内参和手眼标定,得到相机-机器人坐标系的转换关系;完成手眼参数验证实验,证明建模和标定参数的准确性。 (2)针对焊缝打磨工业现场识别定位难的问题,提出一种改进的焊缝区域定位方法ScE-YOLO。该模型在YOLOv8的基础上,进行了以下改进:在颈部网络中添加自研的SCFAM注意力机制,以增强网络对焊缝特征的提取能力;在骨干网络中引入轻量化G-ELAN特征提取模块,在保持特征表达能力的同时降低了计算复杂度。在自建的焊缝图像数据集WELD-DET和公开的缺陷检测数据集NEU-DET上对ScE-YOLO网络进行了对比和消融实验,结果表明该网络具有先进性和可泛化性;在打磨机器人系统上的测试表明,该网络能够在现场条件下保持高置信度和实时性能,验证了该网络的可用性。 (3)针对多焊缝场景下打磨轨迹生成的问题,开发了一套完整的焊缝打磨路径生成方法。该方法中,将多焊缝打磨顺序规划问题建模为旅行商问题,使用结合2-opt策略的粒子群算法进行求解;对于焊缝打磨轨迹生成的问题,提出一种包括焊缝边界提取、中心线提取以及坐标转换的轨迹生成方法,实现了从二维图像到三维打磨轨迹的精确生成。仿真和实际实验结果表明,该方法能够有效完成多焊缝打磨顺序规划、焊缝打磨路径生成与执行操作,为焊缝打磨自动化提供了新的解决方案。

关键词： 跌倒检测   计算机视觉   传感器   可穿戴设备  

摘要： 近年来的研究表明，跌倒已经成为我国老年人致死的主要原因之一，因此及时检测到老年人的跌倒行为并进行救助是一个比较重要的研究课题。本文对现有的跌倒检测技术做了详细的综述，包括跌倒的含义、跌倒检测技术和跌倒分类算法，可以为后续的相关研究提供有意义的借鉴和参考。

关键词： RepViT轻量级网络   YOLOv7   多尺度特征融合   注意力机制   目标检测   水下环境  

摘要： 水下设备在内存和计算能力方面的限制，以及其复杂的运行环境，导致检测过程中频繁出现误检和漏检现象。为解决这些难题，文章提出了一种耗资少且检测效率与精度高的轻量化海洋生物检测算法YOLOv7-RDBC。具体而言，在YOLOv7骨干网络中融入RepViT轻量级网络，设计D-ELAN和D-MPConv模块，进一步实现网络的轻量化，加快检测速度。另外，借助BiFPN实施多尺度特征融合，再结合CBAM卷积注意力机制，增强关键特征的表达能力，提高检测精度。实验结果显示，相较于传统的YOLOv7模型，YOLOv7-RDBC在多个性能指标上都有明显提升，在海洋生物检测任务中表现出色，具备广阔的应用前景。

关键词： 交通标志   YOLO   目标检测   注意力机制  

摘要： 在社会经济迅速发展和汽车数量大幅增加的背景下,道路交通安全问题愈发突出。无人驾驶技术和智能交通系统成为应对这一挑战的重要方向。交通标志作为道路信息的关键载体,对驾驶安全至关重要。然而,在实际驾驶中交通标志可能因各种原因被忽略,增加事故风险。同时,传统交通标志识别方法在复杂场景下存在精度不足和计算效率低下的问题。若系统识别不准确,会向无人驾驶车辆传递错误信息,导致行车决策失误。此外,车载设备和嵌入式系统计算资源有限,自动驾驶车辆需实时运行,模型复杂可能导致识别延迟。因此,开发一种高效、准确且轻量化的交通标志识别算法至关重要,它不仅能提升道路安全性和交通效率,还能推动无人驾驶和智能交通系统的发展,对于确保道路交通安全和提升通行效能具有重要的现实意义。本文基于YOLOv11的轻量化交通标志识别算法进行了研究与设计,主要研究内容如下: (1)在深度学习的交通标志识别领域,国内公开的数据集样本不足是一个挑战。国内目前仅有的公开交通标志数据集,难以满足日益复杂的交通标志识别需求。为解决这一问题,本文展开了深入研究,整合了一个交通标志数据集TTKTS。并且,为了有效扩充数据集并提高模型的泛化能力,本研究设计并实现了一个图像增强处理工具。为后续交通标志识别模型的训练提供了更充足、更优质的数据支持,为有效提升交通标志识别系统的性能与泛化能力奠定了基础。 (2)基于Faster Net和组卷积增强的轻量化识别算法。卷积神经网络在训练过程中通常面临耗时长、模型规模庞大以及内存占用高的问题,这些问题限制了其在交通标志识别场景下的轻量化部署。本文提出了一种针对YOLOv11算法模型的轻量化改进方案。通过构建并引入融合网络、优化检测头对模型网络结构进行改进,在确保识别准确率保持在较高水平的同时,显著降低计算量与参数量,从而满足轻量化部署的需求。 (3)融合CAGA注意力机制和CARAFE上采样的改进算法。尽管轻量化模型设计在一定程度上降低了模型复杂度,但同时也带来了识别准确率下降、误检与漏检现象频发等问题,尤其是在处理图像中的小目标时,识别效果欠佳,且识别速度难以满足交通标志识别的实时性要求。本文针对改进后的基于Faster Net和组卷积增强的轻量化识别算法,提出了一种精度与速度优化方案。该方案对网络结构中的上采样方法和损失函数进行了优化,并创新性地引入一种结合空间注意力和通道注意力的注意力机制,有效提升了目标识别的准确率与推理速度,进而更好地满足自动驾驶场景下对实时性的严格要求。 (4)基于改进YOLOv11的交通标志识别系统。为了更直观地呈现模型的实际效果,本文采用Py Qt5框架进行系统开发,并完成了模型的本地部署。在系统设计中,共构建了10个功能模块,其中包括标注工具、权重选择、参数调整、本地图片和视频检测、实时摄像头检测、识别、输出打印、结果展示以及存储结果等,旨在提供一个全面而高效的交通标志检识别解决方案。 图[36]表[15]参[72]

关键词： 机场跑道异物   多模态图像融合   目标检测   CDDFuse   YOLOv7  

摘要： 机场跑道异物（Foreign Object Debris,FOD）对航空器起降构成极大的安全威胁。目前大部分机场采用检测效率有限的人工巡检方式,少部分机场采用雷达探测、光学检测或者多技术融合的方式。雷达探测方式存在安装维护成本高、后端信号处理复杂以及可能造成未来机场发展的电磁兼容问题。传统的光学检测方式采用可见光图像,检测效果在光照条件较差的情况下会大打折扣,通过与红外图像进行融合能有效解决该问题。本文对FOD红外与可见光图像进行基于改进CDDFuse模型的融合处理后,对融合图像进行基于改进YOLOv7模型的目标检测,实现了在光照条件较差情况下对FOD的高精度检测,为实际情况下的FOD检测算法优化提供了思考方向。 本文的主要研究结果有: （1）选择CDDFuse模型作为FOD红外与可见光图像融合的基础模型,对CDDFuse模型进行针对编码器与解码器的优化改进。在编码器的SFE模块引入八度卷积结构,针对源图像特征图中的高频信息与低频信息分别进行特征提取,为SFE模块中的后续多头自注意力机制模块提供信息量更丰富的输入特征,实现对编码器特征提取能力的强化。在解码器对融合图像与可见光图像的残差连接部分引入SE注意力机制,合理调整各通道权重使得最终融合图像适宜人眼视觉观测。使用自制FOD图像数据集（my FOD图像数据集）、TNO数据集、Road Scene数据集以及LLVIP数据集对改进CDDFuse模型进行消融实验与对比实验,选择EN、SD、SF、MI、SCD、VIF、QAB/F与SSIM作为衡量指标。改进CDDFuse模型在消融实验与对比实验结果中均表现出优秀的图像融合性能。 （2）选择YOLOv7模型作为FOD图像目标检测的基础模型,对YOLOv7模型进行针对主干网络、加强特征提取网络以及边界框定位损失的优化改进。在主干网络下采样模块前添加CBAM使主干网络提取特征时加强对小目标信息的关注度。在加强特征提取网络结合AFPN思想结构提出SA-PANet,在缓解非相邻有效特征图之间语义差距的同时实现对模型参数量和模型计算量增幅的有效控制,在PANet结构下采样支路中引入Bi Former模块,强化对小目标特征信息的提取。在边界框定位损失计算中引入MPDIo U Loss,达到加速模型收敛速度并提高FOD检测精度。使用my FOD融合图像数据集在改进CDDFuse模型得到的融合图像以及FOD-A数据集对改进YOLOv7模型进行消融实验与对比实验,选择m AP50、GFLOPs以及Params作为衡量指标。改进YOLOv7模型与原始YOLOv7模型相比,GFLOPs提升了33.90%,Params提升了47.33%。在my FOD融合图像数据集上m AP50上升了10.71个百分点,在FOD-A图像数据集上m AP50上升了9.09个百分点。改进YOLOv7模型在消融实验与对比实验结果中均表现出优秀的目标检测性能。

关键词： 三维目标检测   多级特征融合   体素特征   多模态融合   激光雷达  

摘要： 随着人工智能生成内容技术的快速发展,汽车行业正从“软件定义”向“数据定义”模式转变。自动驾驶作为其核心应用之一,依赖多传感器协同感知环境,并通过车载计算平台完成实时推理与决策。环境感知能力直接决定了自动驾驶系统的安全性和可靠性,但是在小目标(如行人、骑行者)检测方面仍面临显著挑战。 当前自动驾驶三维目标检测主要依赖相机和激光雷达。相机能够提供高分辨率的图像信息,在纹理细节和颜色感知方面具有明显优势,有助于提升目标类别的判别能力。然而,由于其本身不具备深度感知能力,且在逆光、夜间等复杂光照条件下性能易受影响,难以满足三维空间中目标定位与距离估计的需求。激光雷达则能够生成高精度三维点云,提供可靠的深度信息,且在弱光或强光干扰等复杂环境中依然具备稳定的感知能力,能够有效弥补相机在三维目标检测中的不足。 尽管现有算法使用多传感器融合的方案对目标检测性能有一定提升,但在复杂场景中对小目标的检测精度仍然存在明显不足,亟需更有效的特征建模与融合策略以提升感知性能。本文提出的研究工作主要包括以下两个方面。 (1)优化激光雷达点云的特征提取策略。传统方法受限于点云的稀疏性与不规则性,导致特征表达能力不足。本文采用体素化处理方式,结合多级特征融合机制,构建显式体素特征提取模块,从而增强对不同尺度目标的感知能力,尤其提升对小目标边缘与角落特征的捕捉效果。 (2)提出基于实例引导的图像—点云融合方法。传统多模态融合方法易受背景噪声干扰,导致融合特征质量下降。本文通过语义分割网络提取图像实例信息,与点云数据进行匹配融合,从而提高语义一致性和鲁棒性,减少背景噪声的影响,使模型在复杂场景下具备更强的目标识别能力。 为验证方法有效性,本文在KITTI和nuScenes数据集上进行了系统性对比实验和消融分析。实验结果表明,所提出的方法在小目标检测精度和模型鲁棒性方面均取得显著提升,为自动驾驶环境感知模块的优化提供了有效方案。

关键词： 目标检测   可迁移性   鲁棒性   对抗攻防  

摘要： 近年来,得益于人工智能的快速发展,基于深度学习的目标检测研究取得巨大进步,成果广泛应用于智能交通等领域。大量研究表明深度神经网络具有脆弱性,尤其是对抗样本的出现,使得目标检测等众多算法模型面临严峻的安全挑战。在复杂决策任务情境下,探究可迁移对抗样本的生成方法与模型鲁棒性增强方法具有重要的意义。这些研究将促使相关研究者关注算法模型的安全性问题。基于此,本文紧密围绕目标检测任务,从对抗样本特性与模型自身特性这两个关键维度出发,深入开展可迁移对抗样本生成机制的研究。并在此基础上,进一步探寻增强目标检测模型对抗鲁棒性的有效方法。具体研究工作如下: (1)针对当前目标检测对抗样本生成方法仅适用于单一模型,迁移性欠佳的问题,本文提出基于干净特征融合的平衡混淆攻击技术。当实施集成攻击时,通过权重平衡与优化增强对抗样本的可迁移性,并融入干净特征对生成的对抗扰动进行优化。实验结果表明,在YOLO等主流目标检测模型上,所提方法使平均精度(mAP)下降40%-70%,且拥有最高的TSR(迁移成功率)。 (2)受注意力机制启发,本文提出一种基于动态注意力与多尺度特征融合的鲁棒性增强方法。通过动态特征选择、细粒度特征捕捉和多分支融合策略,精准捕捉复杂场景下目标的关键特征,实现高效特征学习与鲁棒性提升,增强目标检测模型抵御对抗样本干扰的能力。实验结果表明,在BFCA和UEA等对抗攻击下,该方法使目标检测模型的平均精度(mAP)提升20%-30%,优于基线防御方法。 (3)本文开发一个面向目标检测的对抗攻防系统,融合了前文提出的对抗样本生成与模型鲁棒性增强两种方法,并集成多种目标检测模型、算法以及丰富数据集。系统不仅能够高效生成对抗样本,还支持多模型的鲁棒性测试与增强验证,同时具备良好的可扩展性,便于对接新方法和扩充模型库,以适应技术发展需求。 在公开数据集上的实验结果表明,生成可迁移对抗扰动的方法成效显著,能使对抗样本在多种目标检测模型间实现高效的跨模型迁移。并且所提出的鲁棒性增强方法能够显著提升模型在复杂对抗环境下的鲁棒性。本文所提出的两种方法为对抗样本防御体系的完善和模型鲁棒性评估技术的发展提供了关键的技术支撑。

关键词： 智能钢筋绑扎机器人   深度学习   目标检测   深度过滤   YOLOv5  

摘要： 为保证钢筋绑扎机器人实际应用中的运行鲁棒性，须结合作业场景对机器人适用钢筋间距进行实时调整和排除非作业面层钢筋对钢筋交叉点识别的干扰；针对实时调整对一般钢筋绑扎机器人适配性要求较高的问题，设计出一款基于目标检测的智能钢筋绑扎机器人，能够适应不同钢筋绑扎场景及排除非作业面层钢筋干扰，实现机器人自主作业路径规划并完成钢筋绑扎作业．首先，分析钢筋绑扎工程作业环境，对钢筋绑扎机器人移动系统、传感系统、绑扎系统和控制系统四大系统进行设计；然后，在钢筋交叉点标记和训练识别过程中利用双目结构光深度相机对钢筋网进行深度过滤排除环境干扰，采集深度过滤后的图像并标记钢筋交叉点作为深度学习的数据集；最后，分别使用YOLOv5n和YOLOv5s深度学习算法对得到的目标作业面数据集进行训练和测试，提出最优路径规划算法对识别计算出的钢筋交叉点定位坐标进行路径规划．测试结果表明：设计的智能钢筋绑扎机器人在实际操作中拥有较好的作业效果，能够有效排除非作业面层钢筋的干扰．