关键词： 港口   粮食筒仓   清扫机器人   深度学习   目标检测   双目立体定位  

摘要： 高大立筒仓在我国港口粮食储运中应用广泛,但是在长时间储存过程中,由于粮食特性,在筒仓内壁及底部区域易形成挂壁结拱现象,导致粮食流动不畅、储运效率降低,增加人力成本和事故发生的概率。传统的人工清理方法不仅效率低下,还存在较大的安全隐患,因此,发展智能化清扫机器人成为解决该问题的关键途径。本文研究开发了一种基于机器视觉的智能清扫机器人系统,旨在提高粮食筒仓清扫效率、降低人力成本、确保生产安全。 本文主要工作内容为: (1)分析了清扫机器人的应用场景及该研究的意义,对当前国内外粮食筒仓清扫机器人以及相关技术进行了研究,并提出一种针对高大粮食筒仓的智能清扫机器人系统。 (2)提出一种改进的基于双残差结构的基于Faster R-CNN二阶段目标检测算法解决仓内目标检测精度问题。首先确立本文为二分类任务,并对当前基于深度学习的目标检测算法进行了分析,明确了采用二阶段目标检测算法Faster R-CNN作为基础算法。为了提高算法在二分类任务中的表现,创新性的结合了U2-Net网络中的双残差结构,引入了残差U块来替代传统的卷积块,并在主干网络与区域提议网络(RPN)之间增加了残差连接结构,以优化红外图像中目标的检测效果。在实验阶段,本文在自建数据集上与VGG主干网络、Resnet50主干网络的传统Faster R-CNN算法以及一阶段目标检测算法YOLOv8对比,结果表明改进后的算法检测精度平均提升约17.3%,具备更强的目标检测能力和更高的准确性。 (3)提出一种基于双目立体定位算法测量目标余粮位置的方案,为清扫机器人提供准确的定位数据。首先利用MATLAB软件结合张正友相机标定法对相机进行标定,并使用Open CV工具进行校正,以确保双目相机系统的精度和稳定性。在立体匹配的实验过程中,本文设计了BM算法与SGBM算法的对照实验。通过实验数据对比,SGBM算法在测距精度上表现更为优越。最后将SGBM算法成功融入目标检测视觉系统,开发出完整的清扫机器人机器视觉系统。 (4)在实验室完成清扫机器人本体控制系统、感知系统的开发,经过测试成功消除了粮食筒仓内昏暗条件下检测目标与背景分界不明显对余粮检测精度的影响,后续完成对清扫机器人系统远程监控与遥控程序的开发后在粮食筒仓内进行现场实施。 本文的研究极大地提高了粮食筒仓清扫的无人化程度,对于提升粮食筒仓清扫效率,减少人工干预以及降低作业风险具有重要的实际意义,为港口粮食储存管理的自动化和智能化发展提供了新的技术支持。

关键词： 计算机视觉   交通标志识别   分段组稀疏编码   孪生神经网络  

摘要： 随着无人驾驶、辅助驾驶等技术的发展，交通标志识别（TSR）问题被更多的研究者所关注。目前，在普通交通环境下的TSR问题得到了较好的解决，但当环境中存在交通标志模糊、部分遮挡等噪声干扰时，其TSR的处理效果并不理想。针对该问题进行研究，提出了一种新颖的结合孪生网络的综合特征分段组稀疏编码的TSR问题解决方法。提取交通标志的多个不同尺度特征编码，并提出利用综合特征编码的方法来表征交通标志；通过提出的分段组稀疏编码方法对交通标志的综合特征编码进行优化，以改善模型对编码的学习能力，提高编码的鲁棒性；构建了用于分段组稀疏编码训练的孪生神经网络模型，该模型因其简单的结构和较少的层数使其不易出现过拟合问题，同时所提模型也具有较少的参数量，较大幅度提升了模型的运算速度。实验表明，所提方法在TT100K数据集原始环境、运动模糊环境中，与目前SOTA模型最好成绩相比其准确率、精确率、召回率与F1分数等评价指标相近，模型参数量减少70.8%,FPS提升51.4%；在部分遮挡噪声环境中，各指标均显著优于目前SOTA模型最好成绩，尤其在遮挡率为60%时，所提方法的准确率和FPS分别较目前SOTA模型最好成绩提升了0.118和27 FPS。

关键词： CMIMO雷达   异构集群系统   资源管理   低截获概率   目标跟踪  

摘要： 现代战争环境中,各种反雷达措施层出不穷,对雷达的战场生存造成了严峻的威胁。本文面向新体制雷达和集群系统,针对多目标跟踪场景,分别研究并设计了不同的基于低截获概率(Low Probability of Intercept,LPI)的雷达资源管理算法,主要包括以下几个方面。 1.针对集中式多输入多输出(Colocated Multiple-Input-Multiple-Output,CMIMO)雷达,研究基于LPI的CMIMO雷达资源管理方法。LPI性能综合考虑了各目标的截获概率,建立了优化模型。随后,采用离散粒子群算法(Discrete Particle Swarm Optimization,DPSO)以及基于LPI的资源管理算法(LPI-based CMIMO Radar Resource Allocation Strategy,LCRRAS)这两种算法对所建立的优化问题模型进行求解,联合优化CMIMO雷达的波束指向、辐射功率和子阵划分个数,从而提升雷达的LPI性能。仿真结果表明,所提算法能够自适应配置雷达资源,在满足目标期望跟踪精度约束下实现有效的LPI性能提升。 2.针对主动雷达集群系统,研究了基于LPI的性能指标和雷达资源管理问题。首先针对雷达集群的综合LPI性能,提出了基于LPI的资源分配策略(LPI-based Resource Allocation Strategy,LCSRAS),通过自适应控制集群系统中节点与目标的分配关系和各雷达节点的辐射资源量,在满足各目标期望跟踪精度的条件下,实现雷达集群系统资源的优化,极大化雷达组网的LPI性能。 3.针对主-被动异构雷达集群系统,推导了该异构系统利用后验克拉美罗下界的跟踪性能指标,研究被动雷达路径选择和主动雷达资源联合分配问题。在考虑系统资源约束和目标跟踪性能的基础上,针对多目标跟踪场景,提出基于LPI性能优化的集群系统资源管理方法,联合优化主动雷达节点选择和功率分配以及被动雷达的通道选择,实现实时的异构集群资源分配优化。 4.针对复杂检测环境下的主-被动异构雷达集群系统,推导了异构系统在非理想检测条件下的跟踪性能指标,研究被动雷达路径选择和主动雷达节点选择和功率资源联合分配,并采用基于LPI的快速优化算法,在考虑非理想环境对跟踪性能影响的情况下,实现满足跟踪效能和最大化LPI性能。

关键词： 公共标识识别   检索增强生成   目标检测   智能系统  

摘要： 公共标识是城市信息指引与安全管理的重要载体,但在车站、机场、商场等环境复杂、信息密集的场景中,公众对部分标识的辨识与理解仍存在困难。随着智慧城市建设和公共服务数字化的推进,社会对智能化标识识别系统的需求日益增长。实际应用中,用户通常通过语言描述标识特征或上传图像,请求系统识别并解释标识含义,这对系统的语言理解与视觉感知能力提出了更高要求。为此,本文提出一种具备语言理解和视觉感知能力的公共标识识别方法,并开发了一个原型系统。本文的主要研究内容与创新点如下: (1)针对用户语言描述中存在的主观性强、表达多样等问题,以及查询意图涵盖释义、指引等多种任务类型的特点,提出一种任务敏感型检索增强生成框架。该框架通过融合式分块假设嵌入算法优化检索输入,并利用大语言模型对查询进行任务分类,针对不同任务类型设计差异化的反思与生成策略,从而提升生成结果的准确性与相关性。实验表明,该框架在自建标识描述数据集上准确率达95.33%,较传统检索增强生成方法提升了4.97%,并且在多个公开数据集上取得了良好表现。 (2)为提升模型在数据稀少与复杂场景下的识别能力,提出一种基于图像的双链路识别算法。在符号识别链路中,引入结构化图像扩充与渐进学习策略以提升检测精度;在文本识别链路中,采用基于标识先验的文本检测与识别方法,并进一步结合任务敏感型检索增强生成框架进行识别。实验证明,在公共标识识别数据集中,符号检测准确率达87.32%,采用了双链路识别算法后,整体识别准确率提升至96.65%,验证了双链路协同的有效性。 (3)基于上述研究,开发了支持语言输入和图像上传两种交互方式的公共标识识别原型系统。系统集成了数据管理、自动识别与难例复核等模块,不仅验证了算法在真实场景中的可行性,也为后续算法评估与优化提供了灵活高效的平台。

关键词： AGV搬运机器人   目标检测   相机标定   视觉测量   目标定位  

摘要： AGV(Automated Guided Vehicle,AGV)搬运机器人作为现阶段仓储物流的重要枢纽,目标定位的精度与效率直接影响着其作业性能。本文针对传统AGV定位技术实时性低、适应能力差、成本昂贵等问题,融合深度学习算法与双目立体视觉技术,设计并研发AGV搬运机器人高精度双目视觉定位系统,以提升动态复杂场景下视觉检测和定位的准确性与实时性。主要研究内容如下: (1)分析了AGV搬运机器人的实际工况,根据视觉定位需求,提出了AGV搬运机器人双目视觉定位系统总体设计方案,完成了相关设备的选型,并阐述了相关算法网络原理。 (2)针对存在干扰因素、环境复杂情况下的目标检测问题,提出一种改进YOLOv7目标检测模型。在原有YOLOv7基础上设计Concat＿attention特征融合模块,引入SIOU损失函数,增加标签平滑技术以增强模型泛化能力,并模拟复杂环境建立托盘增强数据集训练该网络。最终设计实验验证了该目标检测网络的精确性与鲁棒性。 (3)针对圆阵列标定板图像边缘模糊及偏心误差问题,提出了亚像素边缘检测与改进高斯曲面拟合算法,修正圆形特征投影中心偏差。此外,设计标定板顺序编码方法,通过Matlab开发双目相机标定软件,根据仿真定位与相机标定实验验证上述算法流程的可行性。实验表明所提方法有效提高了相机标定精度,为双目立体视觉测量打下基础。 (4)结合双目立体视觉三维重建原理与合作目标立体配准技术,基于Linux系统开发了一套完整的高精度视觉定位系统软件,完成了对AGV搬运机器人视觉定位系统功能的测试验证。实验结果表明,本文构建的高精度视觉定位系统,能够完成托盘位置与方位角的实时解算,同时具备毫米级的定位精度,满足AGV搬运机器人实际需求。 通过上述研究,分析了AGV搬运机器人视觉定位的影响因素,提出了高精度视觉检测定位与相机标定方法,开发了双目相机标定与视觉定位软件,构建了AGV搬运机器人高精度视觉定位系统,并且系统具备良好的鲁棒性与实时性,为智能工厂自动化提供了理论及技术支撑。

关键词： 遥感图像   深度学习   目标检测   注意力机制   密度图裁剪  

摘要： 目前,遥感技术使我们能够用分辨率0.5m的遥感图像观察地球表面。尽管具有挑战性,但解释这些海量图像是必要的,其中目标检测是指在地球表面定位感兴趣的目标(例如车辆和船舶)并预测其类别。遥感图像中的目标检测已成为城市管理、能源巡检、农业服务、应急救援和救灾等许多现实应用中的重要步骤。近年来,随着深度神经网络的发展,FRCNN、Retina Net和Mask R-CNN等方法已成为通用目标检测的标准流程。然而,这些方法虽然在MS-COCO和Pascal VOC等自然图像数据集上取得了良好的效果,但在遥感图像数据集上往往无法取得令人满意的结果。由于遥感图像通常是使用无人机、飞机或卫星等飞行器从鸟瞰视角拍摄的,因此与Image Net中的自然图像相比,它们表现出相当大的比例差异。这些特性使得遥感图像的目标检测技术面临着重大挑战。例如,鸟瞰图像中的目标通常朝向各个方向并旋转分布;遥感图像通常包含大量小目标,这些小目标稀疏地分布在目标密集的区域内;在许多情况下,不同类别之间的目标分布存在严重不平衡;遥感图像经常遇到目标之间遮挡和目标边界截断等挑战。针对上述问题,本文对遥感图像的目标检测问题展开了研究。围绕特征提取、特征融合、密度图裁剪、注意力机制等关键技术,开展了问题分析、理论研究、网络设计、实验测试等一系列工作。论文具体研究内容如下: (1)针对遥感图像具有目标小且密、背景复杂的问题,提出了一种语义信息特征聚合网络,该网络主要由自适应特征提取模块和三向特征融合模块,以提高在小目标密集场景下的检测能力。更具体地说,自适应特征提取模块将局部特征与全局特征相结合,自适应地拟合目标的感受野。三向特征融合模块在特征金字塔的不同层之间建立多条路径,并使用加权融合机制来获得更高质量的特征图。实验结果证明该算法可以更好地提取目标特征信息和保留语义信息,从而有效的提高检测性能。 (2)针对遥感图像尺度变化的问题,提出了一种端到端的密度图裁剪方法来指导遥感图像目标检测。首先,将遥感图像输入到密度图裁剪模块,将生成的裁剪图像和原图输入到同一个检测器进行目标检测,然后在训练过程中使用新的查询方案从编码器中获取更全面的内容特征,最后融合原始图像和密度裁剪图像的结果。实验结果表明我们的方法无论是在客观指标还是在人眼视觉感知上都取得了优异的结果。

关键词： 自动驾驶   目标检测   全景感知   FPGA   Vitis AI  

摘要： 随着自动驾驶技术的快速发展,视觉检测与识别技术作为自动驾驶系统的关键组成部分,其重要性日益凸显。在自动驾驶场景中,车辆需要实时、准确地感知周围环境,其中主要包括交通标志、车道线、其他车辆和行人等。然而,现有的视觉检测算法在处理小目标、复杂背景和实时性要求时仍面临诸多挑战。例如,交通标志由于尺寸较小,容易被误检或漏检,而全景感知任务则需要同时处理多个视觉任务,对模型的准确性和实时性提出了更高的要求。为了满足自动驾驶对高准确性、低延迟和高能效的严格要求,本文提出了一种针对交通标志检测任务的模型STSD-YOLO,以及一种用于多任务全景感知的网络架构。此外,本文还将这两个模型部署到VCK5000 FPGA上,以实现高效、实时的推理能力。 在交通标志检测方面,本文提出了STSD-YOLO模型,专门针对小目标检测问题进行了设计。该模型通过在骨干网络中引入SPConv模块,显著增强了特征提取能力。同时,用SCFPN结构进一步优化了特征融合过程。此外,模型还引入了小目标检测层P2,并移除了P5层,在此基础上优化网络结构,使模型在提升检测性能的同时,减少了模型参数量约500万。在TT100K数据集上的实验结果表明,STSD-YOLO模型的m AP@50达到了94.6%,显著优于YOLOv9（92.1%）和YOLOv10（90.7%）等基准模型。为了进一步提升模型的实时性,本文利用Vitis AI工具库将模型部署在VCK5000 FPGA上。实验结果表明,FPGA部署的模型推理速度比GPU部署快7.2倍,达到247.39 FPS,能效比提升了约11倍。 在全景感知任务中,本文提出了一种双分支骨干网络和宽感知分割头的结构,能够同时实现车辆检测、车道线识别以及可行驶区域的分割功能。相较于传统采用多个独立网络进行推理的方法,本文的方法显著降低了计算开销,提高了多任务协同感知的效率。实验结果表明,在BDD100K数据集上,该模型在三个任务上的准确度均显著优于基线模型。为了进一步满足自动驾驶对低延迟和高能效的要求,本文同样利用Vitis AI工具库将该网络部署在VCK5000 FPGA上。实验结果表明,FPGA部署的模型在推理速度上比GPU部署快5.9倍,能效比提升了约7倍,为资源受限的自动驾驶应用场景提供了显著优势。本文的研究成果不仅在交通标志检测和全景感知任务上取得了显著的性能提升,而且通过FPGA部署实现了低延迟、高能效的实时推理,为自动驾驶技术的进一步发展提供了有力支持。

关键词： 点云   目标检测   神经网络   硬件加速器   稀疏性  

摘要： 近年来,自动驾驶相关技术取得快速发展,成为人工智能与汽车工业融合的重要领域。激光雷达是自动驾驶车辆常用的一种传感器,和摄像头相比,激光雷达能够提供准确的三维环境信息,且在各种光照条件下,包括完全黑暗的环境中,都能正常工作。而点云则是激光雷达通过发射激光扫描外界环境形成的数据,与图像相比,点云能够有效的表示周围环境中的物体与激光雷达的相对位置关系。当前,基于卷积神经网络的点云数据处理算法得到了快速发展,在三维目标分类、检测、分割等任务上表现优异。 然而,点云在空间中的分布稀疏且随机,导致算法在执行卷积计算之前,需要通过实时搜索的方式确定卷积计算的具体输入。这一过程带来了显著的搜索延迟,导致点云处理算法运行效率低下。为解决上述问题,本文按照算法和硬件协同设计的思路,从搜索效率,存储访问效率,硬件利用率等方面着手,设计了一个高效的点云目标检测神经网络加速器,具体内容如下: 首先,本文对国内外研究现状进行调研,分析总结了现有各类点云目标检测算法的优缺点和适用场景,还对各个点云数据集和评价指标等内容做了介绍。分析总结了现有点云硬件加速相关的工作的优缺点,以及可改进的方向。基于上述分析,总结了加速器设计存在的具体挑战。 然后,本文对点云网络进行了结构化剪枝,以增加点云网络的权重稀疏性。同时,本文对点云特征进行分块,并对块内特征采用零值压缩算法进行压缩,以减少存储需求。在此基础上,本文设计了一种稀疏感知计算方法和对应的电路,以充分利用点云网络的激活稀疏性和权重稀疏性来提高计算效率。 接下来,本文设计了一个专用的点云特征搜索引擎,以提高点云特征搜索效率。同时,本文提出了一种基于查询机制的轮询式输入特征写策略,和一种基于连续查询机制的输入特征读方法,让卷积计算乱序且高效地执行,从而提高硬件利用率。本文还提出了一种分段式片外存储访问策略,以提高访问效率。 最后,本文在Xilinx Virtex-7 VC707 FPGA开发板和22 nm工艺上对该加速器进行了验证。在VC707开发板上,该加速器实现了537 GOPS的吞吐量和17.6 FPS的帧率;在22 nm工艺上,该加速器实现了1074 GOPS的吞吐量,7.79 TOPS/W的能效,589 GOPS/mm2的能效,35.2 FPS的帧率,单帧点云推理所消耗的能量为3.91 m J,显著优于现有工作。

关键词： 汽车工程   智能驾驶   综述   驾驶人状态监测   深度学习   计算机视觉   模型架构   训练策略  

摘要： 驾驶人状态监测技术作为提升车辆智能化水平与安全性的关键手段，旨在精确辨识与深入理解驾驶人的动作、情绪及注意力状态。尽管该领域研究已取得显著进展，但针对深度学习算法原理的系统性总结尚显不足。鉴于此，系统性地综述了基于图像与深度学习的驾驶人状态监测算法，以满足智能车辆技术持续发展的需求。首先阐述了文献综述方法；接着对现有公开数据集进行了整理与描述；然后从数据选择与处理、模型架构、模型训练与评估以及优化目标几个方面分别展开了深入阐述；最后总结了目前研究中存在的不足，并对未来研究的主要发展方向进行了展望。结果表明：基于图像和深度学习的驾驶人状态监测研究已进展到一定深度，数据选择与处理技术呈现多样性，模型架构朝着多模态、多任务、轻量化和高鲁棒性的方向不断发展，并逐渐开始采用非完全监督和多目标优化的训练策略。然而，大多数研究方法缺乏针对实际驾驶场景的系统性测试，也未充分考虑自然驾驶条件下驾驶人行为特性以及智能车辆人机交互形态的变化，因此难以实现对各种驾驶场景和驾驶人个性的全方位监测功能。驾驶人状态监测算法的进一步发展主要受限于两方面因素。其一，目前深度学习方法在其领域适应性、可解释性、运行效率等方面仍存在不足；其二，缺乏自然驾驶环境下大规模高质量数据集。该综述可为高认知驾驶人状态监测系统的进一步发展提供有效指导和重要参考。

关键词： SEM   CoreDRAW   ArcGIS   微观  

摘要： 文中旨在探索一种较为客观、便捷的扫描电子显微镜图像处理方法，以减少人为干预的主观性。通过使用CoreDRAW以及ArcGIS中相关的空间分析工具，对SEM图像进行处理，并利用导出的数据证明黄土颗粒的一些微观特性：土颗粒的数量随深度的增加而逐步增多，颗粒的椭圆率和离散系数越来越小，圆形度和分形维数则具有增加的趋势，方向角变化不大。此方法不仅提高处理SEM图像的速度和便捷性，且增强分析的客观性，有效揭示黄土颗粒的微观结构特性，为黄土微观结构研究提供了新的技术手段。