关键词： 光学神经网络   光学复用   光计算   非线性光学   图像处理   计算加速  

摘要： 与电子技术相比，光子技术具有大带宽、低功耗、高速度和并行性等优势，是应对电子器件能耗和计算效率等瓶颈问题的理想技术。作为模拟光计算的重要组成部分，光学神经网络是区别于冯·诺依曼计算架构实现人工神经网络的光学途径，并已在特定功能应用上展现出超越传统电子计算的优越性，有望成为未来人工智能计算架构的主流实现方式之一。综述了光学神经网络的关键技术、应用及未来挑战，介绍光学神经网络的数学模型和物理实现方法，包括线性加权、非线性激活和误差反向传播等基础概念；讨论光学神经网络在图像识别、计算加速等领域的应用潜力；最后，指出了光学神经网络当前面临的主要挑战，如非线性激活和可编程光学器件等，并对光学神经网络的未来发展进行了展望，包括提升计算性能、集成度和通用性。

关键词： 行为识别   交互关系   目标检测   扩散模型  

摘要： 随着深度学习技术的发展,目标检测和行为识别取得了显著的进展。目标检测和行为识别作为一个上游的任务,在很多的领域内都有需求和应用,特别在教室场景中,这两种技术是智慧教育和智能分析系统的重要基石,下游的教学风格分析和生成个性化学习报告等任务都需要目标检测和行为识别技术的支持。基于其在教室场景中的重要作用,本文围绕着教室场景进行行为识别方法的研究。 本文选用RT-DETR作为基线模型,其高效的实时性能与端到端的架构设计优势显著,然而,在教室场景中,RT-DETR存在诸多局限性:(1)未考虑教室场景中对象间的交互关系,难以借此优化行为识别结果;(2)未能对同一目标的多个查询特征进行融合,导致部分准确率损失;(3)面临数据稀缺及样本不均衡等难题。针对上述问题,本文展开以下研究: (1)针对教室场景中包含的丰富的对象交互关系,本文构建了基于对象交互的行为识别方法,具体而言,在RT-DETR网络中加入了一个对象交互关系模块,包括内部交互组件,局部交互组件,全局交互组件,该模块能够自发掘教室场景中的潜在交互关系,并籍此改善行为识别的结果。实验表明,相比基线模型,此方法在Class Behavior和ARIC两个教室场景数据集上绝对提升了1.5%和0.6%的mAP。 (2)RT-DETR对于单个目标往往会输出多个不同类别的检测框,这意味着同一目标的不同检测框对应的查询特征具有差异性,而这种差异性RT-DETR并未加以利用。因此,本文构建自适应查询精炼模块,通过动态加权机制融合优化同一目标的多个查询特征,生成更具判别性的查询特征。实验表明,在两个数据集上该模块的引入使mAP相较于基线模型绝对提升了0.9%和0.4%。 (3)针对教室场景中的行为分布不均衡的问题,本文使用扩散模型扩增和特征增强的方法来缓解分布的不均衡带来的问题,对于输入图像,随机选择部分行为实例数量较多的目标框替换为扩散模型生成的尾部类别样本;在特征空间,利用头部类别的统计量对尾部类别进行校正,并基于校正后的尾部类别分布开展特征增强。实验发现,在两个数据集上本章所提方法分别使得mAP相比于基线模型绝对提升了0.3%和0.2%。 此外,本文所提三种方法叠加在两个数据集上的mAP相较于基线分别绝对提升了2.3%和0.9%,在参数量增加了3M的情况下,推理延迟为13ms左右。

关键词： 深度学习   目标检测   钢表面缺陷   检测系统  

摘要： 在工业质检领域,钢表面缺陷检测是确保产品质量和提升生产效率的关键环节。然而,由于缺陷尺寸范围广、细小缺陷数量众多以及背景干扰复杂等因素,现有检测技术的检测精度往往难以满足实际需求。为此,本文聚焦于深度学习技术,围绕钢表面缺陷检测展开深入研究,主要研究内容包括以下几个方面: 1.针对钢表面缺陷检测中面临的种类繁多、形态各异,尤其是小尺度缺陷检测难度大的挑战,选取基于Transformer架构的RT-DETR R18(Real-Time Detection Transformer with Res Net-18 backbone)作为基础算法进行研究,并在此基础上提出了基于改进RT-DETR R18的钢表面缺陷检测算法。通过在骨干网络中引入Slim-neck结构,构建AIFI-DA模块,同时设计小目标特征金字塔结构,提升模型对各种缺陷特征的提取精度,增强网络对多尺度特征的融合能力以及对小目标缺陷的表征能力。最终,改进后的算法在NEU-DET数据集的m AP@50为76.5%,并且裂纹类缺陷的AP值提升了3.9%。同时该算法在GC10-DET数据集上的m AP@50达到73.4%。 2.为进一步提高算法对钢表面缺陷中小目标的检测精度并满足工业场景中的应用需求,选取了性能优越的一阶段目标检测算法YOLOv8n(You Only Look Once version 8nano)作为新的研究起点,在此基础上提出了基于改进YOLOv8n的钢表面缺陷检测算法。该算法通过构建创新的C2f-ODConv模块,优化网络度量策略,设计轻量化的检测头Light-Detect,并融合CBAM(Convolutional Block Attention Module)注意力机制,增强网络对钢表面缺陷全局特征的捕捉能力,提高对微小缺陷定位的精确度,降低模型资源占用率,提升网络特征表达能力。最终,改进后的算法在NEU-DET数据集的m AP@50为78.6%,并且裂纹类缺陷的AP值提升了10.8%。同时该算法在GC10-DET数据集上的m AP@50达到75.2%。 3.为加速算法在实际应用中的落地,本文基于Python Tkinter库设计了基于深度学习的钢表面缺陷检测系统,并结合硬件设备搭建了钢表面缺陷的实时检测平台。通过后台调用改进的YOLOv8n模型的最佳权重,系统可以对用户上传的缺陷图像进行检测,并将检测结果以可视化形式展示。该设计有效简化了操作流程,避免了繁琐的命令行输入,不仅实现了检测流程的自动化,还提升了系统的人机交互性和操作便捷性。

关键词： 目标跟踪   时空Transformer   注意力机制   轻量化   计算机视觉  

摘要： 视觉目标跟踪是计算机视觉领域中的基础研究方向,旨在给定初始帧的目标信息,估计后续帧中目标的运动轨迹。近年来,随着算力的提升、方法的优化以及大规模跟踪数据集的完善,目标跟踪领域的研究取得显著进展,然而依然存在很多亟待解决的挑战性问题。这些问题包括:如何设计具有鲁棒性的跟踪方法,以应对目标形变、背景干扰和相似物体干扰等复杂场景的挑战;如何设计轻量化的跟踪方法,以实现速度与精度的平衡,提升其实际应用价值。针对以上问题,本文基于现有的Transformer跟踪方法展开研究,进一步构建精确高效的视觉目标跟踪方法。本文的主要研究成果如下: (1)针对多数跟踪方法未充分利用视频序列中的时空上下文信息问题,提出一种融合多尺度特征的时空Transformer目标跟踪方法。首先,使用多尺度特征提取模块整合图像深层和浅层的特征细节。其次,构建了一个时空Transformer编解码器实现自适应外观变化学习。其中,编码器利用空间残差注意力提取空间信息;解码器对连续帧的目标状态进行时空建模。最后,采用角点预测头来估计目标的边界框,并通过动态更新策略调整模板。在GOT-10k、La SOT、Tracking Net等基准测试中,方法精度达到73.5%、68.3%和82.7%,具备良好跟踪性能,在外观变化场景下具备鲁棒的跟踪效果。 (2)针对Transformer跟踪方法计算高耗、自注意力易受背景干扰导致目标特征弱化的问题,本文提出基于轻量化Transformer的自适应选择目标跟踪方法。首先,结合Swin Transformer与聚焦线性注意力提取特征,在获得多尺度特征的同时有效的将计算复杂度降低一个量级。其次,在特征融合模块使用Top-k稀疏多头注意力,设计一种自适应选择策略,在计算注意力权重时仅关注与当前像素最相关的k个像素值,提高对于关键信息的专注度。最后,通过分类回归双分支进行目标估计。在GOT-10k、La SOT、Tracking Net等基准测试中,方法精度达到71.4%、67.5%和81.9%,在保证精度的情况下FPS大幅提升,并且在背景杂乱、形变、快速运动等复杂场景具备鲁棒的跟踪效果。

关键词： 深度学习   目标检测   计算机视觉   小目标林火   模型轻量化   无人机影像  

摘要： 【目的】基于深度学习及计算机视觉，提出一种小目标森林火灾检测模型SFIRE-DeNet。【方法】该模型采用轻量级主干网络，在特征融合层引入全局注意力机制，有助于减少信息损失并提升深度神经网络的性能。添加小目标检测层用于检测较浅的特征图，从而实现对小目标林火的高精度检测。此外，在不同数据集和多个场景下对模型的检测效果进行测试。【结果】构建的模型在平均精度均值(mAP)指标上达到84.79%,较YOLOv5s模型的mAP更高，每秒传输帧数(FPS)保持在60以上，这验证了该模型在航拍角度下检测小目标林火的合理性与有效性。【结论】提出的SFIRE-DeNet模型可减少参数量和计算量，提高模型对小目标林火的特征提取能力，提升深度神经网络的性能。模型在检测精度和速度方面表现出色。

关键词： 中药饮片   YOLOv8   深度学习   图像识别   目标检测  

摘要： 目的 解决中药饮片种类繁多、形态相似，人工识别耗时费力且易出错的问题。方法 构建了包含201类中药饮片的数据集，并提出了一种轻量化改进的YOLOv8算法，具体改进包括在YOLOv8n网络中引入GhostC2f模块以降低模型参数量，采用DySnakeC2f模块以增强对纤细结构的灵敏度，替换主干网络的池化层为SimSPPF模块以加快推理速度，并加入坐标注意力（coordinate attention,CA）机制以增强对小尺寸目标的特征提取。结果 改进后的算法跨阈值平均精度（50%～95%）达到84.16%，较之前提高了4.39%，同时模型参数量减少了约15%。改进的模型成功部署在电脑客户端和手机APP中，构建了中药饮片自动化识别标注系统。结论 改进后的模型能够有效识别中药饮片，同时系统支持自动数据扩充和升级，从而为中药饮片的快速、准确识别提供了一种新方法。

关键词： 深度学习   神经网络   人工智能   计算机视觉   目标检测   YOLOv3算法  

摘要： 为了帮助汽车驾驶员和自动驾驶车辆评估碰撞风险，使用深度学习算法进行驾驶路况分析至关重要。尽管这些深度学习技术越来越普及，但将其用于驾驶路况信息检测分析仍然是一个挑战，这主要是因为缺乏从复杂驾驶路况中提取大量所需信息的有效方法。基于YOLOv3开发了一个路况信息检测系统，以检测危险行人和最近的车辆，以边框标示跟踪目标，以中文标注目标类别，以数字表示识别置信度。已识别的信息可为自动驾驶车辆或汽车驾驶员提供态势感知，以识别周围交通的碰撞风险。