关键词： 移动机器人   目标检测   目标跟踪   行人朝向估计   行人跟随  

摘要： 随着移动机器人应用场景日益复杂且动态化,传统的目标跟踪与避障方法由于对环境变化敏感、难以准确预测动态障碍物行为以及计算复杂度高等问题,在实时性与稳定性方面常面临严峻挑战。为应对上述问题,本文提出了一套融合视觉与激光雷达信息的高性能目标跟踪与动态避障系统,旨在提升机器人在动态环境下的自主导航能力与环境适应性。 为实现多模态信息的高精度融合,首先开展了相机与激光雷达的联合标定研究。通过精确求解相机内参,并提出一种基于特征角点与PnP算法的联合外参标定方法,为后续多模态数据在统一坐标系下的对齐与融合奠定了可靠基础。 在精确标定的基础上,构建了双模态协同检测框架以增强动态环境下的实时感知能力。视觉层面,引入MobileNet-V3作为主干网络,并对双分支结构进行优化,实现OpenPose的轻量化改进,显著提升了行人姿态检测的实时性与计算效率;激光雷达层面,设计融合通道与空间注意力机制的DR-CBAM混合网络,有效提升了点云目标检测的精度与鲁棒性。 针对动态环境中空间目标的稳定跟踪问题,提出多模态融合跟踪策略,集成基于条件触发机制的ByteTrack-FastReID视觉跟踪方法,兼顾身份识别的精度与效率;同时结合改进的DD-DBSCAN点云聚类算法、全局最近邻算法(GNN)与无迹卡尔曼滤波(UKF)技术,实现空间目标的持续跟踪与身份继承,有效缓解相机视野盲区导致的视觉信息缺失问题。 为提升机器人导航过程中的安全性与社交适应性,进一步研究了基于行人朝向感知的动态避障与目标跟随策略。通过构建P2D-GCN模型并结合补偿机制准确估计行人运动趋势;在此基础上,开发了朝向信息驱动的代价地图插件以及基于虚拟弹簧模型的目标点动态生成方法,显著增强机器人的动态避障能力与目标跟随任务的稳定性。 系统基于ROS框架实现,并在Gazebo仿真平台与TurtleBot3 Waffle-Pi实物平台上完成多组动态场景实验。结果表明,该融合多模态感知、空间目标持续跟踪与动态路径规划的集成系统,能够有效提升机器人在复杂动态环境中的稳定性与实时避障性能,具有重要的理论意义与实际应用价值。

摘要： 近年来，密集遮挡、极端弱光、高动态模糊、水下浑浊、强辐射等极端环境日益成为智慧城市、深空探测、极地科考、灾害应急、智能交通和高端制造等领域的常态场景。面对信噪比极低、退化类型多样、目标尺寸微小或密集的原始影像，传统图像处理链路在增强复原、信息解析和下游应用中屡遭瓶颈。与此同时，跨模态融合、物理退化建模、生成式人工智能等新兴技术不断涌现，为极端环境图像处理与应用注入创新动力。然而，以下关键问题仍亟待突破：如何面向多源退化过程构建统一的成像与复原框架？如何在极低信噪比、暗弱场景下稳健提取结构与语义信息？如何准确高效地检测、识别和跟踪微小、密集目标？如何建立覆盖多场景、多任务、多退化类型的公开数据集与评测基准？如何将超分辨、三维重建、多模态融合等图像处理技术安全、可靠地部署到极端环境实际系统？为深入探讨上述前沿挑战与技术突破，推动科研成果在国家重大需求和战略新兴产业中的落地，《计算机科学与探索》特设“极端环境图像处理与应用”专题。本专题旨在汇聚极端环境下的图像增强复原、目标检测识别、跨模态融合、数据集与评测体系等领域的最新研究进展，搭建学术界与工业界开放交流平台。

关键词： 自动驾驶   协同感知   目标检测   特征共享  

摘要： 随着交通与计算机技术的不断发展,自动驾驶技术的应用越来越广泛。环境感知系统是自动驾驶的重要组成部分,是后续规划、决策的基础。但现有感知方法不能很好地处理自动驾驶中的复杂场景,并且基于单智能体(Agent)的感知具有较大的视野局限性。因此,急需一种性能优秀能够满足自动驾驶需求的感知方法。车路协同系统(Vehicle to Everything,V2X)提供了一种新的解决思路,能够有效提高感知系统表现。本文在此基础上提出了一种基于特征共享的自动驾驶协同感知方法。 首先,本文就单智能体感知算法展开研究,高质量的个体感知数据是后续协同感知的坚实基础。为了应对自动驾驶的复杂环境,本文提出了基于主从主干和分流特征聚合的单智能体感知方法,其中主从主干和分流特征聚合均为本文所设计的全新模块。该方法通过结合主从主干和分流特征聚合,实现了对目标的多维描述。具体来说,主从主干网络由主干网络和一个或多个辅助网络组成,这些网络采用不同的特征提取方法,从而为整体模型提供多样化的特征信息。本文深入研究了主干网络和辅助网络之间的协调机制,通过特征重引入和逐层反馈,避免了直接融合可能带来的负面影响。在特征金字塔网络的基础上设计了分流特征聚合网络,在自上而下的融合过程中引入分支结构,一个分支专注于捕获浅层特征,而另一个分支则关注整体结构的理解。这种灵活的多尺度特征融合策略使本文方法能够较好的适应复杂环境,实现对各尺度目标的精准检测。 其次,本文就自动驾驶场景多智能体间协同感知方法展开了研究。单智能体感知受限于遮挡、感知范围等问题,协同感知通过各智能体间数据互补能够有效解决这些问题,提升自动驾驶系统感知效果。但自动驾驶系统通信带宽有限,这要求协作方法的通信量不能过大。并且不同智能体间的模型差异性无法避免,这显著影响了协同后的检测精度。为了应对这些问题,本文设计了基于关键特征重投影的多智能体协同感知方法,其中特征重投影框架和墓碑机制均为本文所设计的全新模块。本文首先对各智能体数据进行编码,获得特征数据。智能体包括自身车辆和其余自动驾驶车辆、路测传感器等。然后通过熵理论生成关键特征区域,并根据实际情况设置阈值,确保只传递最重要的信息,从而有效减少通信开销。并且,每个智能体在握手阶段进行信息交换,在不传递特征图的情况下交流每个智能体所能提供和所需要的数据。之后,通过特征重投影将区域映射到体素空间中,只保留二维平面内的条件限制,对该区域内所有数据进行通信。通过体素的通信和融合可以避免基于特征的协同方法固有的不准确性。此外,本文还设计了一种墓碑机制,以应对通信中断导致的目标丢失问题。该机制通过预测协作数据在下一时刻的位置,结合数据更新算法,有效减少了通信中断带来的影响。 最后,为验证本文方法的有效性,在多个数据集上进行实验,以车辆作为感知对象。实验结果表明,相较于单纯扩大模型,主干网络之间的复合连接能够显著提高性能。并且,所提出的协作方法在各数据集上均实现了最优的带宽与精度平衡,显著降低了通信开销,增强了模型对通信中断等干扰的适应性,同时减轻了智能体之间模型差异对结果的负面影响。 本文所研究的车辆协同系统中的单智能体感知算法和多智能体协同感知框架,为自动驾驶环境感知技术的发展提供了有力支持,有助于提升自动驾驶系统在复杂场景下的感知性能和可靠性,推动自动驾驶技术的进一步发展和应用。

关键词： 计算机视觉技术   自动驾驶系统   实时处理算法  

摘要： 计算机视觉技术作为自动驾驶系统的核心组成部分，负责实时感知和理解周围环境，对实现车辆的自主驾驶具有至关重要的作用。本文深入探讨了计算机视觉技术在自动驾驶系统中的应用，自动驾驶系统的实际应用中仍面临诸多挑战，如实时性问题、精度与鲁棒性问题、数据处理与存储问题以及环境复杂性与多样性问题等。为了解决这些问题，本文提出了一系列改进方案与技术，为推动智能交通系统的构建和实现安全、高效的自主驾驶奠定了基础。