关键词： 深度学习   数据驱动   防火服目标检测   主动学习   计算机视觉  

摘要： 电石作为重要的工业原料,需求持续高涨。然而,电石生产过程高温高压,环境复杂,对从业人员的人身安全构成了严重威胁。尽管员工需穿戴防火服等装备,但由于监管不到位和技术手段有限,安全事故仍屡屡发生。因此,结合计算机视觉技术,将目标检测方法应用到员工的安全帽、防火服监测中对提高生产管理的安全性具有重要意义。目前基于深度学习的目标检测方法受到了研究人员的广泛关注。然而,电石生产环境的复杂性使得通用检测框架在防火服数据集上效果不佳,同时实际应用中深度学习模型面临高昂的数据标注成本,基于上述问题本文研究了基于数据驱动的电石炉场景中安全帽、防火服等目标检测策略,主要工作有: 1、提出了一种基于动态马赛克增强和平衡焦点损失处理策略的YOLOv7-tiny检测优化方法。首先针对小目标数量多引起的尺度失衡,设计了基于损失反馈的马赛克增强,将小目标的定位损失作为反馈信号指导数据增强过程,从而动态调整训练样本的尺度分布;然后采用平衡焦点损失处理单级检测器的类别失衡问题,通过调节简单样本和困难样本的损失权重来缓解常见类别对罕见类别的精度抑制,从而提高模型对着装不合格目标的识别精度。实验表明改进模型在防火服数据集上AP50和m AP分别提升3.4%和4.9%,且未增加额外的参数量和推理时间。可视化结果表明改进模型漏检误检较少,表现出较强的抗干扰能力。 2、为给深度学习应用提供高效经济的解决方案,改进了一种适用于电石炉场景中目标检测的主动学习框架。该框架在Consistency based Active Learning for Object Detection的不确定性信息评估方式基础上,首先通过边缘滤波初始化策略筛选边缘信息丰富的样本训练模型,使得初始模型保持在较高精度,并提高整个学习周期信息评估的准确性。其次为避免样本偏差并提高标注利用率,设计了基于模型引导的多样性增强策略,在待标注集中通过相似性矩阵筛选特征差异显著的样本集合,并结合模型敏感的增强方式生成训练增强集。实验结果表明,优化框架在防火服数据集上仅需50%的标注数据即可达到全量数据训练99.6%的性能,在VOC数据集上以70%的标注数据达到全量数据训练98.7%的性能,显著降低了标注成本。

关键词： 工作面巡检机器人   目标检测   路径规划   嵌入式部署  

摘要： 煤炭作为我国的主要能源,仍将是我国能源安全的“压舱之石”。在我国从事煤矿行业的200多万从业人员当中,工作于采煤和掘进等危险岗位的人员占比高达60%以上,采用煤矿机器人下矿代替人工作业是我国煤矿智能化建设的必由之路。安控类煤矿机器人在《煤矿机器人重点研发目录》中占据重要地位,采用安控类煤矿机器人代替人工进行巡检作业,能够减轻工人的劳动强度,同时结合煤矿井下的安全监控系统,能够实现煤矿井下的全方位、无死角检测,而工作面巡检机器人是安控类煤矿机器人的一种,其发展成熟、研究全面,更加值得煤矿企业、科研机构以及机器人制造企业投入更多资金和精力对其本身和相关技术进行研发。针对工作面巡检机器人关键技术如目标检测技术及路径规划技术,本文均做出深入研究,主要研究工作如下: (1)基于改进深度学习算法的煤矿工作面多目标检测研究。 在煤矿井下工作面恶劣环境及复杂工况下,针对传统目标检测算法对作业人员、采煤机以及掘进机等多目标的检测出现检测精度低、误检和漏检等问题,提出一种以单阶段目标检测算法为基础,并对其进行改进的煤矿井下工作面多目标检测模型FBEC-YOLOv5s,该模型通过引入Faster Net网络、双向特征金字塔网络以及ECIo U损失函数,旨在提高模型对工作面关键设备和作业人员的实时检测精度。同其他YOLO系列模型相比较,该模型的综合检测效果最佳,在煤矿工作面不同作业场景下均能表现出良好的检测性能且具有较好的鲁棒性。 (2)基于改进A*算法的煤矿工作面全局路径规划研究。 由于煤矿井下环境复杂、非结构化以及局部可通行区域窄,采用传统A*算法规划路径存在搜索时间长、搜索节点多、冗余节点多以及路径平滑度较差等问题,针对上述问题,以传统A*算法为基础并对其进行改进,首先在传统A*算法的启发函数中引入预估消耗的指数函数和障碍物覆盖率之和,其次将传统A*算法的8邻域搜索方式改为基于象限判别的9邻域搜索方式,然后通过Floyd算法剔除路径中的冗余节点,最后采用改进的3阶Bezier曲线对路径进行平滑处理,旨在获得一条全局最优路径。同其他改进A*算法相比较,该改进A*算法规划路径的综合性能最佳,验证了改进A*算法的有效性和先进性。 (3)基于改进A*-DWA算法的煤矿工作面融合路径规划研究。 煤矿井下环境具有复杂性和多变性,采用上述改进A*算法不能避开路径中出现的未知障碍物,采用传统DWA算法存在路径转折度较大、容易陷入局部最优陷阱的问题。针对上述问题,将改进A*算法同传统DWA算法相结合,以形成一种改进A*-DWA融合路径规划算法,并以改进A*算法的全局路径信息为子目标点,引导传统DWA算法进行局部路径规划。同改进A*算法和DWA算法相比较,改进A*-DWA融合算法解决了改进A*不能实时避障的问题和DWA算法转折度大、局部最优的问题,验证了改进A*-DWA融合算法的有效性,实现了巡检机器人的实时避障需求。 (4)基于巡检机器人的目标检测和路径规划实验。 为了验证所提目标检测算法和路径规划算法在实际环境中的有效性和可行性,搭建巡检机器人作为移动平台来进行目标检测实验和路径规划实验。首先依靠Jetson Nano嵌入式开发板来验证本文所提目标检测算法的性能和实际检测效果,然后通过巡检机器人移动平台来验证所提融合路径规划算法的性能和实际应用效果。实验结果表明,本文所提目标检测算法能够满足实时检测的需求且表现出良好的检测效果,本文所提路径规划算法搜索效率高、路径平滑且能实现实时避障,为读者改进巡检机器人关键技术中的目标检测技术和路径规划技术提供了可行性方案。 图[67]表[20]参[106]

关键词： 计算机视觉   图像去雨   多尺度   生成对抗网络   渐进递归  

摘要： 为了解决传统生成对抗网络（GAN）在去雨问题中因网络容量不均衡而表现不佳的问题，提出了一种基于渐进递归的生成对抗单幅图像去雨算法。该方法采用了渐进递归模块生成器和多尺度特征模块鉴别器，旨在提高生成器效率并增强鉴别能力。渐进递归模块通过融合多尺度特征并构建渐进递归结构，不仅减轻了网络参数的负担，也提高了生成器的效率。与此同时，多尺度特征模块有助于鉴别器从局部和全局两个层面提取特征，从而增强了其鉴别能力。实验结果表明：相较于现有算法，本文算法在Rain100L数据集上峰值信噪比（PSNR）和结构相似性（SSIM）指标提高了1.11%和1.16%；在Rain100H数据集上将指标分别提高了3.28%和1.01%；在真实数据集上，本文算法在去雨任务中表现出色，成功地保留了大部分细节特征。这些实验结果充分验证了本文算法的有效性和鲁棒性。

关键词： 目标跟踪   孪生网络   多头自注意力   特征融合   深度可分离卷积  

摘要： 当前人工智能技术呈现爆发式增长态势,从智能交通系统到物联网应用,乃至新兴的低空产业领域,无不渗透着AI技术的身影。在计算机视觉这一关键研究领域中,目标追踪技术扮演着举足轻重的角色。尽管这项技术看似与日常生活关联度不高,但其实际应用已深入现代科技体系的多个层面:在智能安防系统中实现动态监控,在交互式设备中完成动作识别,在无人驾驶领域确保行车安全等等,各个关键场景都依赖其技术支持。得益于深度学习技术的突破性进展,如何构建更优化的深度网络模型来提升追踪效能已成为学界关注的焦点。该技术的核心在于通过视频帧序列分析,提取特定目标的时空特征并实现精确定位。值得注意的是,基于孪生神经网络框架的追踪算法虽已成为主流解决方案,但其性能仍受制于两大核心问题:首先,特征提取模块采用的预训练模型存在适应性局限,难以匹配复杂多变的实际场景。其次,实际应用中的动态干扰因素,如目标遮挡、形态变化及背景噪声等,都会显著影响算法的鲁棒性和追踪精度。 为此,本文开展了如下工作: (1)基于孪生网络提出了一种应对复杂场景下相似目标干扰的目标跟踪算法。设计了一种新式的反向残差移动块,在经典算法Siam RPN的基础上成功将模块与原算法融合。反向残差移动块使用多头自注意机制和深度可分离卷积级联来分解和重组从Siam RPN的骨干孪生网络中提取的特征信息。它提高了模型的泛化能力,避免了复杂场景中相似物体可能导致的错误跟踪。此外,我们还广泛使用深度可分离卷积来稳定学习过程,使其更好地收敛。这使得算法不仅更加精确,而且在跟踪速度方面优于大多数算法。 (2)基于融合网络的思想,设计并实现了一种深浅层特征融合孪生网络目标跟踪算法。Siam RPN++追踪器因其在速度和性能之间的良好平衡而受到广泛关注。然而,在复杂的背景下,Siam RPN++往往会失去目标。在使用深度语义特征进行跟踪时,它缺乏识别类似物体干扰的能力。为此,我们设计了一个深浅特征融合模块(DSFF)。该融合模块巧妙地利用反向残差移动块(i RMB)捕捉全局特征语义信息,然后依靠特征融合模块(FFM)对浅层和深层特征进行融合和过滤。它提高了模型的泛化能力,避免了复杂场景中相似目标可能导致的错误跟踪。此外,我们还广泛使用深度可分离卷积来减少参数数量,提高跟踪效率。

关键词： 异构多核   嵌入式平台   卷积神经网络   轻量化   并行计算加速  

摘要： 当前,卷积神经网络(Convolutional Neural Network,CNN)被广泛应用在图像分类、目标检测等领域,嵌入式计算平台是较为常见的应用设备之一。由于单一计算资源难以有效应对较为复杂的计算任务,异构多核逐渐成为目前较为主流的嵌入式处理器架构。但相较于高性能计算机,嵌入式计算平台始终存在存储和计算资源有限的问题,CNN部署于此类平台后,其计算速度往往有所下降。 一方面,CNN算法的复杂度与参数量与日俱增,在落地部署时会出现参数冗余的问题,占用过多计算资源;另一方面,嵌入式异构多核平台会将CNN计算流程中的预处理、推理、后处理任务分配给不同的处理器核心执行,凭借AI加速器适配于卷积运算的硬件设计与并行计算框架,推理部分的计算速度相对较快,但预处理和后处理通常在并行度较低的CPU上进行,因此二者的计算速度受到限制,其耗时甚至远远超出推理用时。 针对应用于异构多核计算平台的图像处理技术,本文考虑采用轻量化策略以解决CNN算法参数冗余的问题,并充分利用硬件平台异构多核架构的特点,整合计算资源,实现图像预处理、后处理以及整体处理流程的并行计算,寻求从各处理阶段到整体流程的多层次计算加速优化。主要研究工作总结如下: (1)CNN算法轻量化:以YOLOv5为例,采取剪枝、量化、主干网络替换等轻量化策略对部署的CNN算法进行推理计算加速。选用Min Max量化、KL散度量化作为主要使用的量化方法;设计通道剪枝,选取批量归一化层的缩放因子作为重要性评估标准,通过L1正则化进行稀疏化训练;选取两种轻量化网络结构进行主干网络替换与模块化设计;最后通过实验证明了轻量化方法的有效性。 (2)并行计算加速设计:基于Yulong810A的异构多核架构特点,对于图像预处理,结合NEON指令集、Open MP在CPU上进行加速,结合Open VX并行计算框架在GPU上进行加速,对于图像后处理,使用Open MP对简单循环结构作并行加速。最后,对上述方法进行实验验证,实验结果表明,各方法均有效起到加速作用,其中GPU的加速效果最为明显。 (3)多线程方案设计:将预处理-推理-后处理的整体流程分解为各个单独线程,并创建多个相同结构的Graph,各线程流水线式获取Graph执行对应阶段的计算任务,利用不同任务线程在不同处理器核心上同时执行的时间重叠性以缩短耗时。最后整合各阶段的加速方法,通过实验检测多线程处理在不同组合下的加速效果,实验结果验证了该加速方案的有效性。

关键词： 空间分组内卷积   双向路径聚合网络   分步训练   YOLOv8n   轻量化   目标检测  

摘要： 针对现有轻量级目标检测算法存在检测精度不足、特征融合能力较弱及检测速度较慢等问题,在YOLOv8n基础上提出基于空间分组内卷积的轻量级目标检测算法.首先,在内卷积基础上提出一种新型空间分组内卷积(SGWInvo),克服内卷积空间信息建模方面的不足,并基于SGWInvo进一步设计一种轻量化主干网络SCNet替换YOLOv8n主干网络;其次,提出一种双向路径聚合网络,以提高多尺度目标的特征融合能力;最后,采用深度可分离卷积对检测头进行轻量化,结合YOLO2YOLO分步训练策略,消除NMS带来的推理时延.研究包括两种检测方法:一对多匹配的SGWInvo-YOLO和一对一匹配的SGWInvo-YOYO.在COCO数据集上的实验表明,与YOLOv8n相比,两种算法参数量均降低23.3%, SGWInvo-YOLO与之推理速度相当, mAP0.5精度提升3.0%; SGWInvo-YOYO推理时延减少10.5%, mAP0.5精度提升2.3%.

关键词： SAR图像   目标检测识别   实时信号处理平台   DSP并行实现  

摘要： 合成孔径雷达(Synthetic Aperture Radar,SAR)以其全天时、全天候、高分辨的独特优势,已广泛应用于军事侦察、地质勘探、灾害监测等多个领域。SAR图像的目标检测与识别作为SAR技术应用的核心环节,具有重要的研究价值和实际应用需求。现有的检测识别方法尽管能达到较高的准确率,但在资源有限的信号处理平台上部署困难,难以实现实时处理。因此,研究适合信号处理平台部署的SAR图像实时目标检测识别方法具有重要的理论意义和实际应用价值。 本文以在TI TMS320C6678多核DSP平台上高效部署SAR图像实时目标检测识别算法为研究对象,重点开展了检测识别算法设计、实时信号处理平台的开发调试以及基于多核DSP平台的算法实时实现和优化三个方面的研究。主要研究内容如下: (1)研究并提出了一种引入局部统计特征与梯度增强的谱残差目标检测模型,提升了对SAR图像中目标的检测能力;研究了一种基于范数约束的稀疏主成分分析特征提取方法,并与支持向量机相结合,实现了对目标的高效识别与分类,通过仿真实验验证了所提算法模型的准确性和鲁棒性。 (2)设计并开发了一套基于VPX架构的6U6槽实时信号处理系统,完成了实时处理板卡的软硬件设计、存储管理及高速通信接口设计,通过调试与实验验证该处理平台满足SAR图像检测识别任务的实时性要求。 (3)提出了一种面向多核DSP平台的算法并行优化策略,包括基于数据并行与基于核间通信中断的多核并行架构设计,以及功能级和代码级优化方法,成功实现了SAR图像目标检测与识别算法的实时并行化部署。 本文通过理论分析、软硬件平台设计和实验验证,证明了所提出的算法模型与实时处理系统在SAR图像目标检测识别领域的有效性和实时性,为进一步开展SAR图像处理技术研究奠定了良好的理论与实践基础。