关键词： 深度学习   目标检测   无人机拍摄图像   轻量化  

摘要： 近年来,基于深度学习的目标检测方法发展十分迅速,而无人机图像场景的物体检测是计算机视觉领域的一项具有挑战性的任务。随着无人机行业的快速发展,无论是在军事还是民用领域得到了广泛的应用,通过在无人机上搭载摄像头能大大拓宽无人机的应用范围,扩展无人机行业的应用,比如环境监测、交通监管、危险区域侦查等各种领域。然而近几年,为了提高卷积神经网络的精度,网络结构变得越来越复杂,对计算能力的要求越来越高。但随着检测模型参数量的增长,无人机嵌入式平台的算力已经无法满足模型的实时推理要求,在实际应用场景中受限,因为无人机的计算能力较低,难以满足大型神经网络的计算能力要求。并且由于无人机飞行高度的变化,待检测的目标尺度变化较大,且高空视角下环境信息冗余,背景复杂,易发生重叠、遮挡的情况,加大目标检测的难度。因此,在有限的计算资源下实现无人机上实时、准确的多目标检测变得更加具有挑战性。 在目标检测领域,基于深度学习的算法一般分为两类:单阶段检测算法,如YOLO系列和SSD系列;两阶段检测算法,如R-CNN和FASTRCNN等。相比之下,两阶段目标检测算法精度较高,但通常对算力要求高,所以在边缘设备中检测速度较慢,无法满足无人机使用场景下的实时检测的要求。单阶段检测算法满足实时性要求,但通常精度通常较低。而无人机作为嵌入式设备部署深度学习模型,这些模型必须是轻量级的。针对上述问题,本文在单阶段目标检测框架基础上,提出针对无人机使用场景的目标检测算法,旨在无人机场景下兼顾检测精度与速度。 本文主要工作内容和研究成果如下: (1)数据集质量对神经网络模型的性能有重要影响,好的数据集可以帮助模型更好的捕捉数据分布特性,能够有效增强其泛化性能,使模型在复杂场景下的物体识别准确率获得实质性改善。考虑到由于无人机飞行高度的变化,检测目标的尺度也不断变化,为了增加数据的多样性,本文在PASCAL VOC数据集、Vis Drone数据集和DOTA数据集的基础上,使用大疆Avata无人机在不同复杂条件下采集图像,作为补充,创建了全新的Vis UAV数据集。同时本文通过加噪声等方法进行数据增强,为后续深度学习模型的训练提供了有效的数据基础,使得训练出的模型具有更好的泛化能力和鲁棒性。 (2)针对无人机拍摄场景中存在较多的高长宽比的目标,而现有目标检测算法对细长目标的检测存在局限性的问题,本研究提出了一种简单、高效且功能强大的LSCGB模块。本文通过在模块中部署大型条带卷积,用于捕获不同长宽比目标的鲁棒特征,同时在前馈网络利用门控线性单元促进通道混合和特征细化,获取目标周围更广泛的上下文背景特征信息,从而更好的解决无人机场景下细长目标检测任务中存在的误检、漏检问题,提升检测模型的性能。 (3)因路径聚合特征金字塔网络在多尺度特征融合中的效果较好,其被广泛应用于目标检测算法。然而,它不能有效地整合高层语义信息和低层空间信息。为了实现更丰富的特征交互和融合,本文提出了一种新的即插即用的高效多分支特征金字塔网络(EMBFPN),在浅层通过双向连接保留主干网络信息,增强算法对小目标的检测能力,在深层通过多向连接为输出层注入更丰富的梯度信息,采用深度可分离卷积替代传统卷积,提高计算效率,增强多尺度表征能力。 (4)现今目标检测算法的检测头往往采用解耦头,这种结构需要消耗更大的设备内存,本研究通过结合多级通道压缩技术,提出一种高效的非对称检测头,利用渐进式通道降维结构,逐层提取语义信息,避免了传统解耦头因全通道连接导致的参数膨胀,有效平衡了模型的参数量与特征表达能力。

关键词： Object detection  

摘要： Camouflaged object detection (COD) aims to identify target objects in complex scenes with extremely high similarity to their surroundings, and has significant applications in military, medical, and other fields. This paper proposes a hierarchical feature-enhanced aggregation network (HFANet) for COD, aiming to address the situations that the target object is highly similar to the background. First, we adopt the pyramid vision Transformer model as the backbone for feature extraction. On top of it, the object-region amplification module and deep interaction guidance module are stacked to enhance the perception of camouflaged objects in complex scenes. Second, an enhanced receptive field module is designed to improve edge perception of camouflaged objects. At last, a multi-scale interactive fusion module is designed by cross-scale connection through adjacent layers, effectively improving the accuracy of COD. The proposed method is evaluated on three challenging datasets: CAMO, CHAMELEON, and COD10K. Evaluation results demonstrate superior performance compared to the state-of-the-art methods. © Shanghai Jiao Tong University 2024.

关键词： 移动机器人   视觉抓取   目标检测  

摘要： 复合移动机器人作为一种高柔性机器人,由移动平台、机械臂、视觉模组、末端执行器等组成。机械臂随移动平台灵活移动,配合视觉系统与末端工具可实现物体的识别、巡检、抓取等功能。尽管其应用前景广阔,但也面临着一些挑战和问题。特别是在移动平台与机械臂的协同作业中,如何实现基于视觉的高效目标识别与自主抓取仍是当前的研究难点。虽然国内外已在机器人抓取技术上展开了大量的研究,但在识别算法、速度、智能性、抓取规划、协同控制方面仍存在一些技术瓶颈。通过深度学习算法提升视觉识别精度,结合视觉、激光雷达与力传感器技术,可以实现更高精度的抓取操作。因此本文开展了一种复合型移动机器人视觉抓取技术研究,主要研究内容如下: (1)复合型移动机器人平台系统集成和搭建。本实验室合作搭建了复合型移动机器人平台,由山速智能公司的圆形室内智能移动平台、法奥意威公司的FR5协作机械臂、大寰公司的两指夹持器、Intel Real Sense RGBD深度相机等构成。该试验平台基于开源的ROS系统开发,具备室内自主定位导航、机械臂抓取、以及RGBD相机检测能力,同时提供了丰富传感器接口和API选项,便于进行二次开发和集成。 (2)复合型移动机器人视觉抓取系统研究。针对移动机器人视觉“眼在手上”的抓取任务需求,以Intel Real Sense D435为研究对象进行双目测距原理推理;然后推导相机和手眼标定原理,使用Matlab的Camera Calibrator进行相机内外参标定以及“眼在手上”手眼标定试验;最后结合目标位姿与室内作业环境特征,确定了自上而下的抓取策略。 (3)设计轻量化目标检测网络。针对现有目标检测算法在仓储物流复杂环境中对快递包裹的检测容易出现漏检、误检现象,以及模型复杂度高,难以嵌入到资源有限的移动设备等问题,设计了一种轻量化特征提取模块SCS(SC-CA-SC),该模块融合最近邻插值和深度可分离卷积的下采样方式,增强网络对边缘特征的提取能力,利用该模块构建YOLOv8n-SCS-CE网络,设计了含有嵌套方式的冗余消除策略,引入空间通道注意力机制,减少模型参数,在保证识别精度的同时提高了模型推理效率,为下一章节所探讨的复合型移动机器人抓取试验提供了目标检测算法。 (4)复合型移动机器人视觉抓取试验研究。首先对整机系统进行了联合测试与试验,可以使用Linux SSH等远程操作方式控制机器人主机,实现了基于激光雷达的Gmapping SLAM导航和机械臂的视觉抓取功能。编写了移动机器人抓取试验所需要的主要ROS节点,分析了抓取主程序框架的设计流程。在Ubuntu ROS系统中部署了用于机器人视觉检测的目标检测算法(YOLOv8n-SCS-CE),并通过ROS节点与主机通信。在搭建好的试验环境中分别开展了基于HSV空间的球体识别抓取试验,以及基于YOLOv8的盒状包裹移动抓取试验。试验结果表明,复合型移动机器人视觉抓取系统能够完成预定的任务要求,验证了本研究方案的可行性与可靠性。

关键词： 深度学习   目标识别   计算机视觉   数据增强   注意力机制  

摘要： 三维点云目标识别是计算机视觉和人工智能的重要研究方向,在自动驾驶、军事侦查及无人装备导航等领域具有不可替代的战略价值。点云数据凭借高精度、高分辨率与抗干扰特性为目标识别提供独特优势,然而现有方法在多层级场景中仍存在局限性。近程目标几何特征挖掘不充分,中程目标计算效率亟待优化,远程目标点云稀疏、信息残缺。针对以上问题,本文分别提出了优化方案。通过几何-语义协同特征提取增强目标几何特征与语义特征挖掘,基于点云-体素联合处理提升计算效率并平衡检测精度,结合图像信息弥补远距离稀疏缺陷。本文的主要研究内容如下: (1)3D目标识别数据集构建 针对现有数据集存在多样性不足的问题,本文在使用传统数据增强方法的同时提出了一种基于地面拟合的SM-GT-Sample增强算法。SM-GT-Sample算法通过RANSAC拟合地面获取地面信息,基于地面信息优化目标插入策略,以避免在不合理的位置进行目标插入。实验结果表明,数据增强算法有效提升了数据多样性,为后续模型训练提供了高质量数据。 (2)基于几何-语义协同特征提取的改进Point Att-RCNN识别算法 针对现有算法在近程目标识别中侧重语义特征而未充分挖掘几何特征的问题,本文提出了一种Point Att-RCNN算法。引入非参数化几何编码模块(Point-NN),通过三角函数嵌入与多级框架聚合捕捉几何特征。同时引入三重注意力机制(Triplet Attention)动态增强关键区域特征权重,并结合残差MLP深化全局上下文学习。实验结果表明,Point Att-RCNN在车辆类别上的识别精度达到了89.35%,对于具有几何结构的目标识别效果显著。 (3)基于点云-体素联合处理的改进ESPV-RCNN识别算法 针对中程目标点云数据量庞大,现有算法存在计算效率低下的问题,本文提出了一种ESPV-RCNN算法。本文将空间剪枝稀疏卷积(SPS-Conv)嵌入到稀疏3D卷积网络中,可以动态剔除冗余信息并优化计算资源。同时在采样中加入基于语义引导的下采样策略,可以有效过滤背景点并捕捉目标关键点。为加快采样速度,采用Voxel Query替换传统的Ball Query实现体素级高效特征聚合。最后将通道与空间注意力机制融入网络,进一步强化了细节特征的提取。实验结果表明,ESPV-RCNN在保持精度的同时,推理速度提升10FPS,显著增强了模型的实时性与效率。 (4)基于图像信息增强的改进EF-Pillars Net识别算法 针对远程目标点云稀疏而单一模态信息有限难以解决的问题,本文提出了一种基于图像信息增强的EF-Pillars Net目标识别算法。算法采用Deep Labv3+语义分割网络对图像进行分割,投影并提取目标锥体空间,结合图像深度信息生成虚拟点云以补全远距离区域目标的稀疏点云。同时将图像语义分割分数作为附加特征注入点云,将增强后的点云数据输入Point Pillars网络进行目标识别,以提升远距离目标检测的精度。实验结果表明,EF-Pillars Net通过图像信息增强,提升困难类别精度超4%,有效改善了远距离目标识别性能。

关键词： 多传感器数据融合   机动目标跟踪   交互多模型算法   麻雀搜索算法   协方差交叉融合  

摘要： 随着信息技术的飞速发展和传感器技术的日益成熟,多传感器网络在现代信息系统中得到了广泛应用。多传感器数据融合技术作为有效提高系统感知能力、决策精度和态势评估能力的关键技术,已成为当前学术界和工业界的研究热点。本文以机动目标跟踪中的多传感器数据融合为研究对象,重点研究了在各个局部传感器的滤波算法,以及在融合中心的数据融合算法,并提出了一种系统性的融合框架,有效解决了传统算法对先验知识的依赖性强、优化过程复杂以及融合精度不足等关键问题。 第一部分是针对局部传感器的滤波算法进行研究。鉴于目标运动系统通常呈现非线性特性且常有多个运动模型切换,本文采用交互多模型容积卡尔曼滤波(Interacting Multiple Model Cubature Kalman Filter,IMM-CKF)算法。在该算法框架下,首先针对各个子模型滤波器状态方程协方差矩阵和测量方程协方差矩阵通常依赖先验知识的问题,提出了基于麻雀搜索算法(Sparrow Search Algorithm,SSA)的动态优化方法,动态优化子模型滤波器协方差矩阵参数,实现子模型滤波器协方差矩阵参数的自适应调整,从而提高子模型滤波器的性能,并且对于优化算法的适应度函数的设计也进行了深入研究,阐述了其设计的合理性。此外,针对交互多模型算法中概率转移矩阵需要先验给定的问题,提出了自适应概率转移矩阵调整算法,实现了概率转移矩阵的自适应调整。通过最后的仿真实验表明,本文提出的两个角度的改进以及它们结合而成的改进算法,在目标跟踪的精度上相较于基准算法均有显著的提升。 第二部分是针对融合中心的多传感器数据融合方法进行研究。针对传统协方差交叉(Covariance Intersection,CI)融合算法中优化过程繁琐且无法考虑局部估计各分量影响的问题,本文提出了一种基于深度学习的注意力机制协方差交叉融合算法。该算法不仅能够评估状态向量内部不同分量的重要程度,还能考虑不同传感器提供信息的可信度,有效简化了优化过程。仿真实验结果表明,所提算法在融合精度上较传统方法有显著提升。

摘要： 信息技术的快速发展与普及，促使人工智能（AI）技术在计算机视觉和网络系统领域的应用日益受到关注。全社会数字化转型开始正式迈入算力时代，无论是计算、存储，还是网络型基础设施的核心组成部分，都融入了更多的AI元素。其中，计算机视觉作为AI技术中的重要分支，不仅强化了计算机系统在理解和处理图像、视频等视觉信息的能力，亦从多维度实现了对图像视觉数据的自动分析与智能识别。

关键词： 目标跟踪   Vision Transformer   动态筛选   跨模态补偿   飞机数据集  

摘要： 随着计算机视觉技术的快速发展,目标跟踪在复杂场景下面临背景干扰、光照变化、目标形变等多重挑战。本文针对可见光单模态跟踪中的计算冗余与背景干扰问题,以及可见光-红外双模态跟踪中的信息互补需求,提出了一种基于动态筛选与跨模态补偿的双模态跟踪方法,为复杂场景下的目标跟踪提供了高效鲁棒的解决方案。 本文构建了多模态飞机跟踪数据集MATD（Multi-modal Aircraft Tracking Dataset）,包含17个视频序列、19580帧可见-红外配准数据,涵盖起飞、滑行、高空飞行等典型场景。基于该数据集,提出了设备行为模拟评估模型,通过定义轨迹预测帧数、误检恢复阈值等指标,量化跟踪算法在实际光电经纬仪系统中的适用性。 在单模态跟踪研究中,本文设计了搜索令牌的空间过滤模块（Token Spatial Filtering,TSF）。该模块通过动态筛选机制,在Vision Transformer（ViT）的注意力计算过程中,优先保留与目标相似度高的搜索区域令牌,逐步剔除冗余背景信息。TSF采用多阶段筛选策略:首先基于模板中心令牌与搜索区域令牌的相似度排序,保留Top-K候选;其次通过空间一致性重排序优化筛选后的令牌分布。实验表明,TSF模块在GOT-10k数据集上平均重叠率（AOR）达0.84,推理速度提升13%,MACs降低26%,有效解决了ViT架构计算冗余问题。在自建飞机数据集MATD中,TSF模块在低光照场景下SR0.75指标提升15%,验证了其对复杂背景的强鲁棒性。 针对双模态跟踪需求,本文提出跨模态补偿模块（Cross-Modal Compensation,CMC）。该模块基于交叉注意力机制,构建可见光与红外模态间的双向特征交互通道:通过模态间特征对齐与权重自适应,实现光照变化下的可见光特征补偿与热交叉场景下的红外特征增强。在RGBT234数据集上,CMC模块使平均成功率（MSR）达到0.71,平均精确率（MPR）达到0.78。在MATD数据集的多模态验证中,融合TSF与CMC的跟踪框架在低光照-热交叉复合挑战下的MPR达0.92,较单模态基线提升33%,在相对坐标偏移比例指标上为1.12%,较基准方法减少64%,成功解决了飞机跟踪中的目标丢失与误检问题。 理论研究与实验验证表明,TSF模块通过动态令牌筛选实现了精度与效率的平衡,CMC模块通过跨模态特征补偿增强了复杂环境适应性。二者协同工作的双模态跟踪框架,为军事侦察、智能交通等领域提供了重要的技术支撑。未来研究将探索多模态特征解耦机制与在线自适应筛选策略,进一步提升算法在开放环境中的泛化能力。

关键词： 深度学习   目标检测   人参果成熟度   注意力机制   轻量化网络  

摘要： 随着农业智能化的发展,果实采摘机器人在水果采收领域的应用日益广泛,果实成熟度检测是决定采摘效率与质量的关键环节。然而,目前实现人参果成熟度自动化检测,面临缺乏公开数据集、自然环境干扰检测精度以及检测模型难以轻量化部署等难题。针对这些问题,本文采用深度学习技术,从数据集构建、检测精度优化、轻量化模型设计等方面对人参果成熟度检测进行了深入研究,为人参果智能化采摘提供有力的技术支撑。主要研究工作如下: (1)人参果成熟度数据集的构建。本研究采用相机与智能手机采集不同成熟度及遮挡条件下的果园图像,并制定成熟度等级划分标注,将其划分为成熟期、过渡期和未成熟期三类。利用Label Img工具进行边界框标注,确保标注与成熟度等级一致。采用自动色彩均衡算法(Automatic Color Equalization,ACE)增强图像色彩与对比度,并通过翻转、错切、亮度调整与增加椒盐噪声进行数据扩增。最终按7:2:1比例划分为训练集、验证集与测试集,为模型训练与评估提供数据支持。 (2)检测精度提升设计。为提升果实遮挡及小目标检测场景下的人参果成熟度检测精度,提出一种改进YOLOv7的人参果成熟度检测模型。首先,引入混合注意力机制(Mixture of self-attention and convolution,ACmix),使模型能够自适应地聚焦于遮挡区域以及人参果表面关键纹理特征,显著增强特征提取的针对性。其次,采用内容感知特征重组上采样(Content-Aware Re Assembly of Feature Maps,CARAFE)上采样算子,提升低分辨率小目标及遮挡目标的边界识别精度,避免信息丢失。最后,优化边界框回归策略,以Focaler-GIo U替换原始损失函数,提高遮挡目标的定位精度。实验结果表明:改进后模型的精确率、召回率和平均精度均值分别达到92.4%、90.0%和95.3%,比原始模型提升1.9%、0.7%和2%,有效增强了复杂环境下的检测能力。 (3)轻量化模型设计。鉴于人参果成熟度检测模型普遍存在参数量大、计算复杂度高的问题,难以在资源受限的农业设备上高效运行,提出一种基于改进YOLOv8n的轻量化人参果成熟度检测模型。首先,在YOLOv8n主干网络中引入Ghost Net网络中的C3Ghost和Ghost Conv模块,并融合轻量级十字交叉注意力模块,在降低模型参数量计算量成本的同时,增强关键特征提取能力。其次,引入渐进空间金字塔结构(Asymptotic Feature Pyramid Network,AFPN),提升不同尺度人参果的检测精度。实验结果表明:改进后模型的计算量减少33.3%,参数量减少50.8%,平均精度均值达到94.3%,实现了检测性能与资源消耗的平衡,为人参果智能化检测与采摘的实际应用提供了技术支撑。 (4)人参果成熟度检测系统实现。根据人参果成熟度检测任务需求,基于Py Qt5框架开发了智能检测系统。该系统实现了单张/批量图像的可视化检测功能,能够快速识别并标注人参果成熟度等级,为果园精准化管理提供了可靠的技术支持。

关键词： 数字图像比色法   深度学习   图像处理   pH   游离氯  

摘要： 在工业生产过程中,pH和游离氯对保障生产稳定、设备安全和产品质量至关重要。传统的化学分析法主要以人工现场检测为主,由于人眼对颜色的感知能力不同,导致检测结果缺乏准确性和客观性,同时也无法满足现场快速检测的需求。随着科技的进步和检测需求的多元化,水质检测已经逐步由传统的实验室化学分析向自动化、智能化的分析方向转型。本文旨在针对工业生产中锅炉水质检测所面临的问题,开发一款多参数水质检测装置,用于检测水体的pH值及游离氯浓度,实现对水质指标的精准测定。本文的主要研究工作如下: （1）装置的检测原理 根据国内外水质检测技术的发展现状及实际检测需求,对装置的检测原理进行了系统地分析。详细介绍了pH和游离氯的显色原理、数字图像比色法的检测原理及色彩空间,为装置的开发提供了理论依据。 （2）多参数水质检测装置硬件部分设计 根据设计需求,针对装置的使用场景、光照对采集图像的影响等问题,进行了硬件部分的设计。该装置的硬件部分主要包括主要控制模块、图像采集模块、旋转控制模块、人机交互模块和电源模块。该装置能够利用图像采集模块获取水质样品的图像信息,并通过旋转装置对试管的不同位置进行多角度拍摄,最后将各水质参数通过人机交互模块直观地呈现给操作人员。同时,该装置可由220 V交流电或24 V锂电池供电,能够满足在多种场景下应用,具有一定的灵活性和适应性。 （3）多参数水质检测装置软件系统设计 采用Android Studio搭建了Android应用开发环境,基于Java语言开发了多参数水质检测APP。通过OpenCV库对采集到的图像进行了预处理,构建了SolventCNN模型,为了验证模型的性能,构建了多种对比模型（LeNet、AlexNet、MobileNet和SE-SolventCNN）,并完成了模型部署。同时完成了电机的旋转控制、数据存储、历史数据查询等功能的开发。该软件能够完成水质样品图像的获取、水质样品分析、电机旋转、数据存储和历史记录查询等一系列操作,能够满足现场快速检测的需求。 （4）装置测试与验证分析 对该装置进行了测试与验证分析,验证了该装置的实用性。对色彩空间进行了分析,结果表明pH值和游离氯浓度与RGB、HSV色彩空间虽然具有相关性,但均呈非线性关系,论证了采用深度学习模型的必要性。通过模型对比,选择了最佳的pH（MAE=0.066、MAPE=0.871、RMSE=0.0882、R2=0.9898）和游离氯（MAE=0.0945、MAPE=1.2158、RMSE=0.1235、R2=0.9792）预测模型（Solvent CNN）。同时,选取了多种实际水样对装置的性能进行测试,结果表明旋转控制模块能够驱动旋转装置对试管的不同位置进行多角度拍摄,该操作能够有效地降低实验误差。在一定浓度范围内（pH值6-9,游离氯0-5 ppm）,本装置的平均响应时间较短（1.2 s）,检测结果（水体pH值检测误差为±0.09,游离氯浓度相对误差≤3.85%）均符合国标要求,能够实现实际水样中pH和游离氯的检测。 综上所述,本文以传统的化学分析法为基础,将数字图像比色法与深度学习图像处理技术相结合,开发了一款多参数水质检测装置。该装置具有实用性强、可靠性高的特点,能够避免因环境因素的改变对检测结果产生的误差影响,同时也为水质检测装置的设计提供了设计思路和理论依据,在水质检测的自动化和智能化方面有着重要意义。