关键词： AGV搬运机器人   目标检测   相机标定   视觉测量   目标定位  

摘要： AGV(Automated Guided Vehicle,AGV)搬运机器人作为现阶段仓储物流的重要枢纽,目标定位的精度与效率直接影响着其作业性能。本文针对传统AGV定位技术实时性低、适应能力差、成本昂贵等问题,融合深度学习算法与双目立体视觉技术,设计并研发AGV搬运机器人高精度双目视觉定位系统,以提升动态复杂场景下视觉检测和定位的准确性与实时性。主要研究内容如下: (1)分析了AGV搬运机器人的实际工况,根据视觉定位需求,提出了AGV搬运机器人双目视觉定位系统总体设计方案,完成了相关设备的选型,并阐述了相关算法网络原理。 (2)针对存在干扰因素、环境复杂情况下的目标检测问题,提出一种改进YOLOv7目标检测模型。在原有YOLOv7基础上设计Concat＿attention特征融合模块,引入SIOU损失函数,增加标签平滑技术以增强模型泛化能力,并模拟复杂环境建立托盘增强数据集训练该网络。最终设计实验验证了该目标检测网络的精确性与鲁棒性。 (3)针对圆阵列标定板图像边缘模糊及偏心误差问题,提出了亚像素边缘检测与改进高斯曲面拟合算法,修正圆形特征投影中心偏差。此外,设计标定板顺序编码方法,通过Matlab开发双目相机标定软件,根据仿真定位与相机标定实验验证上述算法流程的可行性。实验表明所提方法有效提高了相机标定精度,为双目立体视觉测量打下基础。 (4)结合双目立体视觉三维重建原理与合作目标立体配准技术,基于Linux系统开发了一套完整的高精度视觉定位系统软件,完成了对AGV搬运机器人视觉定位系统功能的测试验证。实验结果表明,本文构建的高精度视觉定位系统,能够完成托盘位置与方位角的实时解算,同时具备毫米级的定位精度,满足AGV搬运机器人实际需求。 通过上述研究,分析了AGV搬运机器人视觉定位的影响因素,提出了高精度视觉检测定位与相机标定方法,开发了双目相机标定与视觉定位软件,构建了AGV搬运机器人高精度视觉定位系统,并且系统具备良好的鲁棒性与实时性,为智能工厂自动化提供了理论及技术支撑。

关键词： 公共标识识别   检索增强生成   目标检测   智能系统  

摘要： 公共标识是城市信息指引与安全管理的重要载体,但在车站、机场、商场等环境复杂、信息密集的场景中,公众对部分标识的辨识与理解仍存在困难。随着智慧城市建设和公共服务数字化的推进,社会对智能化标识识别系统的需求日益增长。实际应用中,用户通常通过语言描述标识特征或上传图像,请求系统识别并解释标识含义,这对系统的语言理解与视觉感知能力提出了更高要求。为此,本文提出一种具备语言理解和视觉感知能力的公共标识识别方法,并开发了一个原型系统。本文的主要研究内容与创新点如下: (1)针对用户语言描述中存在的主观性强、表达多样等问题,以及查询意图涵盖释义、指引等多种任务类型的特点,提出一种任务敏感型检索增强生成框架。该框架通过融合式分块假设嵌入算法优化检索输入,并利用大语言模型对查询进行任务分类,针对不同任务类型设计差异化的反思与生成策略,从而提升生成结果的准确性与相关性。实验表明,该框架在自建标识描述数据集上准确率达95.33%,较传统检索增强生成方法提升了4.97%,并且在多个公开数据集上取得了良好表现。 (2)为提升模型在数据稀少与复杂场景下的识别能力,提出一种基于图像的双链路识别算法。在符号识别链路中,引入结构化图像扩充与渐进学习策略以提升检测精度;在文本识别链路中,采用基于标识先验的文本检测与识别方法,并进一步结合任务敏感型检索增强生成框架进行识别。实验证明,在公共标识识别数据集中,符号检测准确率达87.32%,采用了双链路识别算法后,整体识别准确率提升至96.65%,验证了双链路协同的有效性。 (3)基于上述研究,开发了支持语言输入和图像上传两种交互方式的公共标识识别原型系统。系统集成了数据管理、自动识别与难例复核等模块,不仅验证了算法在真实场景中的可行性,也为后续算法评估与优化提供了灵活高效的平台。

关键词： 自动驾驶   目标检测   全景感知   FPGA   Vitis AI  

摘要： 随着自动驾驶技术的快速发展,视觉检测与识别技术作为自动驾驶系统的关键组成部分,其重要性日益凸显。在自动驾驶场景中,车辆需要实时、准确地感知周围环境,其中主要包括交通标志、车道线、其他车辆和行人等。然而,现有的视觉检测算法在处理小目标、复杂背景和实时性要求时仍面临诸多挑战。例如,交通标志由于尺寸较小,容易被误检或漏检,而全景感知任务则需要同时处理多个视觉任务,对模型的准确性和实时性提出了更高的要求。为了满足自动驾驶对高准确性、低延迟和高能效的严格要求,本文提出了一种针对交通标志检测任务的模型STSD-YOLO,以及一种用于多任务全景感知的网络架构。此外,本文还将这两个模型部署到VCK5000 FPGA上,以实现高效、实时的推理能力。 在交通标志检测方面,本文提出了STSD-YOLO模型,专门针对小目标检测问题进行了设计。该模型通过在骨干网络中引入SPConv模块,显著增强了特征提取能力。同时,用SCFPN结构进一步优化了特征融合过程。此外,模型还引入了小目标检测层P2,并移除了P5层,在此基础上优化网络结构,使模型在提升检测性能的同时,减少了模型参数量约500万。在TT100K数据集上的实验结果表明,STSD-YOLO模型的m AP@50达到了94.6%,显著优于YOLOv9（92.1%）和YOLOv10（90.7%）等基准模型。为了进一步提升模型的实时性,本文利用Vitis AI工具库将模型部署在VCK5000 FPGA上。实验结果表明,FPGA部署的模型推理速度比GPU部署快7.2倍,达到247.39 FPS,能效比提升了约11倍。 在全景感知任务中,本文提出了一种双分支骨干网络和宽感知分割头的结构,能够同时实现车辆检测、车道线识别以及可行驶区域的分割功能。相较于传统采用多个独立网络进行推理的方法,本文的方法显著降低了计算开销,提高了多任务协同感知的效率。实验结果表明,在BDD100K数据集上,该模型在三个任务上的准确度均显著优于基线模型。为了进一步满足自动驾驶对低延迟和高能效的要求,本文同样利用Vitis AI工具库将该网络部署在VCK5000 FPGA上。实验结果表明,FPGA部署的模型在推理速度上比GPU部署快5.9倍,能效比提升了约7倍,为资源受限的自动驾驶应用场景提供了显著优势。本文的研究成果不仅在交通标志检测和全景感知任务上取得了显著的性能提升,而且通过FPGA部署实现了低延迟、高能效的实时推理,为自动驾驶技术的进一步发展提供了有力支持。

关键词： 点云   目标检测   神经网络   硬件加速器   稀疏性  

摘要： 近年来,自动驾驶相关技术取得快速发展,成为人工智能与汽车工业融合的重要领域。激光雷达是自动驾驶车辆常用的一种传感器,和摄像头相比,激光雷达能够提供准确的三维环境信息,且在各种光照条件下,包括完全黑暗的环境中,都能正常工作。而点云则是激光雷达通过发射激光扫描外界环境形成的数据,与图像相比,点云能够有效的表示周围环境中的物体与激光雷达的相对位置关系。当前,基于卷积神经网络的点云数据处理算法得到了快速发展,在三维目标分类、检测、分割等任务上表现优异。 然而,点云在空间中的分布稀疏且随机,导致算法在执行卷积计算之前,需要通过实时搜索的方式确定卷积计算的具体输入。这一过程带来了显著的搜索延迟,导致点云处理算法运行效率低下。为解决上述问题,本文按照算法和硬件协同设计的思路,从搜索效率,存储访问效率,硬件利用率等方面着手,设计了一个高效的点云目标检测神经网络加速器,具体内容如下: 首先,本文对国内外研究现状进行调研,分析总结了现有各类点云目标检测算法的优缺点和适用场景,还对各个点云数据集和评价指标等内容做了介绍。分析总结了现有点云硬件加速相关的工作的优缺点,以及可改进的方向。基于上述分析,总结了加速器设计存在的具体挑战。 然后,本文对点云网络进行了结构化剪枝,以增加点云网络的权重稀疏性。同时,本文对点云特征进行分块,并对块内特征采用零值压缩算法进行压缩,以减少存储需求。在此基础上,本文设计了一种稀疏感知计算方法和对应的电路,以充分利用点云网络的激活稀疏性和权重稀疏性来提高计算效率。 接下来,本文设计了一个专用的点云特征搜索引擎,以提高点云特征搜索效率。同时,本文提出了一种基于查询机制的轮询式输入特征写策略,和一种基于连续查询机制的输入特征读方法,让卷积计算乱序且高效地执行,从而提高硬件利用率。本文还提出了一种分段式片外存储访问策略,以提高访问效率。 最后,本文在Xilinx Virtex-7 VC707 FPGA开发板和22 nm工艺上对该加速器进行了验证。在VC707开发板上,该加速器实现了537 GOPS的吞吐量和17.6 FPS的帧率;在22 nm工艺上,该加速器实现了1074 GOPS的吞吐量,7.79 TOPS/W的能效,589 GOPS/mm2的能效,35.2 FPS的帧率,单帧点云推理所消耗的能量为3.91 m J,显著优于现有工作。

关键词： 遥感图像   深度学习   目标检测   注意力机制   密度图裁剪  

摘要： 目前,遥感技术使我们能够用分辨率0.5m的遥感图像观察地球表面。尽管具有挑战性,但解释这些海量图像是必要的,其中目标检测是指在地球表面定位感兴趣的目标(例如车辆和船舶)并预测其类别。遥感图像中的目标检测已成为城市管理、能源巡检、农业服务、应急救援和救灾等许多现实应用中的重要步骤。近年来,随着深度神经网络的发展,FRCNN、Retina Net和Mask R-CNN等方法已成为通用目标检测的标准流程。然而,这些方法虽然在MS-COCO和Pascal VOC等自然图像数据集上取得了良好的效果,但在遥感图像数据集上往往无法取得令人满意的结果。由于遥感图像通常是使用无人机、飞机或卫星等飞行器从鸟瞰视角拍摄的,因此与Image Net中的自然图像相比,它们表现出相当大的比例差异。这些特性使得遥感图像的目标检测技术面临着重大挑战。例如,鸟瞰图像中的目标通常朝向各个方向并旋转分布;遥感图像通常包含大量小目标,这些小目标稀疏地分布在目标密集的区域内;在许多情况下,不同类别之间的目标分布存在严重不平衡;遥感图像经常遇到目标之间遮挡和目标边界截断等挑战。针对上述问题,本文对遥感图像的目标检测问题展开了研究。围绕特征提取、特征融合、密度图裁剪、注意力机制等关键技术,开展了问题分析、理论研究、网络设计、实验测试等一系列工作。论文具体研究内容如下: (1)针对遥感图像具有目标小且密、背景复杂的问题,提出了一种语义信息特征聚合网络,该网络主要由自适应特征提取模块和三向特征融合模块,以提高在小目标密集场景下的检测能力。更具体地说,自适应特征提取模块将局部特征与全局特征相结合,自适应地拟合目标的感受野。三向特征融合模块在特征金字塔的不同层之间建立多条路径,并使用加权融合机制来获得更高质量的特征图。实验结果证明该算法可以更好地提取目标特征信息和保留语义信息,从而有效的提高检测性能。 (2)针对遥感图像尺度变化的问题,提出了一种端到端的密度图裁剪方法来指导遥感图像目标检测。首先,将遥感图像输入到密度图裁剪模块,将生成的裁剪图像和原图输入到同一个检测器进行目标检测,然后在训练过程中使用新的查询方案从编码器中获取更全面的内容特征,最后融合原始图像和密度裁剪图像的结果。实验结果表明我们的方法无论是在客观指标还是在人眼视觉感知上都取得了优异的结果。

关键词： 雨雾环境   激光雷达   目标检测   点云数据分割   脉冲耦合神经网络  

摘要： 为提升雨雾条件下复杂运动目标识别准确性，提出基于激光雷达的复杂运动目标检测方法。通过高频发射的激光束采集待检测区域点云数据，使用特征加权下模糊C均值聚类方法区分正常数据和噪声数据，运用双边滤波方法平滑点云数据噪声，利用K最邻近方法计算点云局部邻域信息，采用自注意力机制实现激光点云分割，通过点云分割获得不同运动目标的激光点云特征，通过输入域、非线性调制域和脉冲产生器完成脉冲耦合神经网络训练，通过平均运动速度计算候选目标范围，精准锁定复杂运动目标。实验结果证明，所提方法在雨雾等恶劣天气下，复杂运动目标检测F1值超过0.8,目标检测精度高，具备极强的鲁棒性。

关键词： 水下船体清洗   目标检测   清洗机器人   YOLOv11   深度学习  

摘要： 在水下船体清洗任务中，对污损及障碍物等目标的检测和精准识别是提升自动化清洗效能的关键。当前水下船体清洗机器人多依赖人工视觉实现环境感知与目标定位，存在效率瓶颈和安全隐患。该文基于YOLOv11框架，提出改进模型 YOLO-HC，构建多尺度扩张注意力模块(MSDA＿C2PSA)以增强跨尺度特征提取能力，采用双向加权特征金字塔优化多层级目标表征融合，并通过动态检测头集成多种注意力机制进一步提升检测鲁棒性。自建水下船体表面数据集实验表明：该模型在mAP@0.5和mAP@0.5:0.95指标上分别达到87.0%和62.4%，较基线模型分别提升2.2%和3.4%。该研究为水下船体清洗任务提供了准确高效的目标检测方法，推动了船体清洗向智能无人化目标更近一步。

关键词： 毫米波雷达   视觉   车载感知   多传感器协同   目标检测  

摘要： 随着机动车保有量的迅速增加,交通安全事故也是近些年人们关注的热点。为了减少交通事故的发生,高级驾驶辅助系统在车辆中的应用越来越广泛。车载领域常用的传感器有毫米波雷达、视觉传感器、激光雷达等,这些传感器各有优点,通过多传感器协同检测可以实现优势互补,提高车载感知性能。本文对雷达与视觉协同道路目标检测技术进行了研究,主要研究内容包括: 1.首先分析研究了毫米波雷达的结构工作原理,并对毫米波雷达目标位置、方位、速度信息的获取原理进行了分析推导,并基于此研究了雷达目标信息获取处理算法实现以及雷达目标聚类算法,为后续的研究提供了基础。 2.研究了基于YOLOv5深度学习网络的视觉目标检测。为了提高视觉传感器的目标检测性能,本文在YOLOv5网络基础上基于可切换空洞卷积和注意力机制进行了结构上的改进,并更换了网络的损失函数来提升检测性能。为了对比改进前后的网络,本文在自制数据集上进行了对比试验,实验表明改进后的网络拥有更高的检测性能。基于视觉检测结果,本文设计了基于拟合距离-像素关系的单目深度估计算法,并进行了误差分析验证深度估计算法的有效性。 3.针对单一传感器在复杂场景下检测效果不佳的问题,研究设计了基于毫米波雷达和视觉协同的道路目标检测算法。通过不同坐标系之间的坐标转换来对雷达和相机数据进行空间上同步,同时还在时间轴上进行了两传感器的数据关联匹配。然后研究了基于匈牙利算法的雷达与视觉目标关联和传感器协同信息融合。基于雷达和相机协同检测系统,在不同场景下采集雷达和视觉数据,并对单一传感器目标检测和两传感器协同的目标检测进行了对比,实验结果表明基于毫米波雷达和视觉协同的道路目标检测算法有着更好的检测性能。

关键词： 汽车工程   智能驾驶   综述   驾驶人状态监测   深度学习   计算机视觉   模型架构   训练策略  

摘要： 驾驶人状态监测技术作为提升车辆智能化水平与安全性的关键手段，旨在精确辨识与深入理解驾驶人的动作、情绪及注意力状态。尽管该领域研究已取得显著进展，但针对深度学习算法原理的系统性总结尚显不足。鉴于此，系统性地综述了基于图像与深度学习的驾驶人状态监测算法，以满足智能车辆技术持续发展的需求。首先阐述了文献综述方法；接着对现有公开数据集进行了整理与描述；然后从数据选择与处理、模型架构、模型训练与评估以及优化目标几个方面分别展开了深入阐述；最后总结了目前研究中存在的不足，并对未来研究的主要发展方向进行了展望。结果表明：基于图像和深度学习的驾驶人状态监测研究已进展到一定深度，数据选择与处理技术呈现多样性，模型架构朝着多模态、多任务、轻量化和高鲁棒性的方向不断发展，并逐渐开始采用非完全监督和多目标优化的训练策略。然而，大多数研究方法缺乏针对实际驾驶场景的系统性测试，也未充分考虑自然驾驶条件下驾驶人行为特性以及智能车辆人机交互形态的变化，因此难以实现对各种驾驶场景和驾驶人个性的全方位监测功能。驾驶人状态监测算法的进一步发展主要受限于两方面因素。其一，目前深度学习方法在其领域适应性、可解释性、运行效率等方面仍存在不足；其二，缺乏自然驾驶环境下大规模高质量数据集。该综述可为高认知驾驶人状态监测系统的进一步发展提供有效指导和重要参考。

关键词： SEM   CoreDRAW   ArcGIS   微观  

摘要： 文中旨在探索一种较为客观、便捷的扫描电子显微镜图像处理方法，以减少人为干预的主观性。通过使用CoreDRAW以及ArcGIS中相关的空间分析工具，对SEM图像进行处理，并利用导出的数据证明黄土颗粒的一些微观特性：土颗粒的数量随深度的增加而逐步增多，颗粒的椭圆率和离散系数越来越小，圆形度和分形维数则具有增加的趋势，方向角变化不大。此方法不仅提高处理SEM图像的速度和便捷性，且增强分析的客观性，有效揭示黄土颗粒的微观结构特性，为黄土微观结构研究提供了新的技术手段。