关键词： 目标跟踪   孪生网络   RGBT   元学习   特征融合  

摘要： 针对传统RGBT目标跟踪算法网络精确度低、鲁棒性差,以及在目标尺度变化大和长时跟踪过程中存在目标丢失无法找回等问题,提出一种新的基于自适应特征融合机制的可修正RGBT目标跟踪算法.首先,引入一种特征层与模态间双自适应融合机制,充分利用两模态间的互补信息,增强RGB与红外特征的跨模态融合;然后,设计一种后端时序约束回归模块,利用上一帧信息对IOU计算以及边界框回归进行约束,有效减少相似物干扰;最后,提出一种基于元学习的在线模板更新机制,对回归阶段得分较高的模板图像进行更新存储,解决长时跟踪中累计误差和目标难以找回问题.采用权威的目标跟踪数据集GTOT、RGBT234和VOT-RGBT2019进行算法验证,所提出方法均可取得极具竞争力的结果.将算法移植到嵌入式设备Jetson Xavier NX上进行性能测试,实验结果表明:所提出算法运行速度可达到29帧/s,相比于当前流行的多种RGBT算法,具有更为全面的跟踪性能,且能够有效解决相似物干扰、目标丢失难找回等问题.

关键词： 计算机视觉   活体检测   卷积神经网络   注意力机制  

摘要： 为解决人脸识别系统中容易受非真人欺骗问题,同时考虑到传统注意力机制算法的计算量庞大,提出一种基于快速线性注意力机制的卷积神经网络静默式人脸活体检测算法。首先,从视频中提取包含人脸的图像数据,并进行数据预处理,包括用于抗光照影响的数据归一化操作及为扩充数据集而进行的图像旋转操作等。算法在经典的点乘注意力机制的基础上,对软最大化操作进行线性优化,即摘除软最大化操作,对原始的两个因子分别进行各自维度的归一化操作,此外基于先验知识与乘法结合律,改变矩阵因子乘法顺序,使得原始复杂度从O(N^(2))降为O(N)。在公开活体检测数据集CASIA-SURF和自制数据集上的实验表明,所提算法在保证识别性能的前提下,可以有效地减少计算复杂度。在训练相同的步数下,训练时间可以缩短约1/8,并且随着输入图片的大小的增加,训练时间缩短的比例还将进一步增大。

关键词： 目标检测   深度学习   立体匹配   双目测距   盲人避障  

摘要： 为保障盲人安全出行,针对盲道占用、破损及无盲道等问题,提出一种结合目标检测和双目立体视觉的盲人避障方法。首先,通过双目相机采集人行道信息,利用改进的YOLOv8s模型对人行道上的障碍物进行检测。然后,使用改进的立体匹配算法对障碍物进行匹配,该方法使用自适应阈值的FAST算法在尺度空间上寻找特征点,同时使用最小二乘法获取特征点的亚像素级坐标,并对特征描述符进行降维处理。最后,通过理想双目模型将二维像素坐标转化为三维空间坐标,获取障碍物的深度值。实验证明,在10 m的范围内,避障系统可以精确识别障碍物的种类,且FPS可以达到149.1;在测量障碍物深度时,其最大误差控制在5.6%以内,FPS可以达到3.8,满足盲人避障所需的实时性和距离准确度的要求。

关键词： 计算机视觉   面部表情识别   知识蒸馏   轻量化  

摘要： 针对复杂神经网络无法在存储空间和计算资源有限的智能终端部署的问题,提出了一种基于知识蒸馏的轻量化面部表情识别模型T-SNet(Teacher-Student Net)。教师模型选用基于细粒度特征提取模块改进后的ResNet18,在MS-Celeb-1M人脸数据集进行预训练。学生模型选用轻量化卷积神经网络ShuffleNetV2,通过优化蒸馏损失函数提高轻量化模型准确性。首先,在面部表情数据集上对教师模型进行蒸馏,提取丰富的特征信息反馈至学生模型,然后综合利用教师模型和学生模型的特征信息训练学生模型,最终训练完成的学生模型作为轻量化面部表情识别模型。T-SNet在FER2013Plus和RAF-DB面部表情数据集,分别取得了88.80%和89.11%的准确率,参数量仅1.20 MB,在准确度和模型复杂度方面均优于其他主流模型。

关键词： 模型轻量化   铁路轨道扣件检测   深度可分离卷积   模型重参数化  

摘要： 为解决铁路轨道扣件检测模型轻量化部署问题,以YOLOX-s模型为基准,提出一种基于深度可分离卷积的特征金字塔,实现颈部网络结构的轻量化特征融合,提升模型轻量化后的特征提取能力。针对YOLOX架构中解耦头产生的更多参数量与计算开销,引入深度可分离卷积,简化解耦头的参数量,并使用重参数化卷积达成检测头的精确度优化,平衡模型参数轻量化造成的精确度损失。实验表明,针对铁路轨道扣件检测问题,相较于基准模型,该方法降低了22.26%的参数量和31.3%的浮点数计算量,精确度保持在原有水平。基于深度可分离与重参数化的轻量化目标检测模型有效降低了模型参数,为部署在铁路在线检测轻型设备上提供一种可行方法。

关键词： 算力不足   医疗   金融   计算机视觉   模型安全  

摘要： 近年来,随着计算机视觉与大模型技术的飞速发展,基于人工智能的智能系统能力逐渐接近人类水平,已在金融、医疗、交通等多个国民经济重要领域发挥了巨大作用,受到了学术界和产业界的广泛关注。尽管如此,人工智能技术在实际应用过程中仍经常面临推理范式效率低下、落地场景算力不足、模型安全问题频发等状况。

关键词： 图像处理   焊缝跟踪   核相关滤波器   强噪声   结构光视觉   跟踪漂移  

摘要： 在基于结构光视觉的焊缝跟踪中,焊接时产生的电弧和飞溅等强噪声会大幅降低焊缝的能见度,导致跟踪失败。为了解决这一问题,提出了一种基于改进核相关滤波器的焊缝跟踪算法,以更好地适应强噪声的环境。首先获取焊缝的初始特征点,基于焊缝激光条纹的灰度分布特征,通过Steger算法提取焊缝激光条纹的中心线;接着对中心线进行滤波并求导来获取焊缝的初始特征点;最后将焊缝的初始特征点作为初始输入,应用改进的核相关滤波器对焊缝特征点进行学习与跟踪。结果表明,在强噪声干扰的情况下,该算法的平均误差为0.305 mm,最大跟踪误差为0.479 mm,取得了良好的跟踪效果并有效避免了跟踪漂移。该研究为高精度焊缝跟踪提供了有益参考。

关键词： YOLOV8   目标检测   MPDIoU   注意力机制  

摘要： 针对桃树叶片病害检测中小目标漏检率高、复杂背景下定位精度不足等问题,提出一种基于改进YOLOv8n的桃叶感染点检测算法,通过添加高分辨率小目标检测层和C2f_StarsBlock模块,构建多尺度特征融合网络,提升模型对微小病灶局部细节的感知力;引用轻量化SCDown模块,采用深度可分离卷积重构下采样层,在减少13.7%参数量情况下,有效保留高频边缘特征,提升病斑定位精度;利用MPDIoU损失函数直接优化预测框与真实框的角点距离,解决传统IoU损失函数变体在宽高比相同,以及尺寸差异场景下的优化盲区。实验结果表明,改进模型在自建桃叶数据集上的mAP@0.5达到80.8%,较原始YOLOv8n提升7.4%,参数量仅2.6 M。

关键词： 憎水性   目标检测   Mask R-CNN   深度学习   复合绝缘子  

摘要： 及时在线判别复合绝缘子憎水性状态是保证电力系统安全运行的一个重要举措。为提高复合绝缘子憎水性状态评估模型的泛化能力,解决现有分类模型评估憎水性程度变化不均的复合绝缘子时往往只关注憎水性不错的部分而误判的问题。文章提出将分类问题转变为目标检测问题,采用改进掩膜区域卷积神经网络(mask region-based convolutional neural network, Mask R-CNN)算法评估复合绝缘子憎水性等级。通过特征金字塔网络(feature pyramid network, FPN)确定图像中所有水滴的位置与大小,采用Mask R-CNN中特有的mask分支预测所有水珠憎水性等级,再计算出相应憎水性等级所占的面积,最终选择面积最大的作为图像的憎水性等级并输出分类结果。结合各等级憎水性图像的特点,引入改进非极大值抑制(soft non-maximum suppression, Soft-NMS)来减少高等级憎水性图像中水迹面积大且分布不规则时的目标漏检,并采用Giou-loss(generalized intersection over union loss)加快低等级图像中目标小而多时模型的收敛速度。最终通过对比实验,从mAP(mean average precision)、每秒帧率(frame per second, FPS)、准确率三项评判指标验证了基于改进Mask R-CNN的憎水图像识别算法的有效性与优越性。

关键词： 深度学习   YOLOX   茶芽   识别  

摘要： 针对现有的目标检测在应对复杂环境与品种时具有一定缺陷的情况,研究提出一种基于深度学习和YOLOX目标检测方法来识别茶芽。在骨干网络中嵌入Contextual Transformer模块,充分挖掘相邻关键字之间的上下文信息;将显式视觉中心方案(EVC)融入特征提取网络来捕捉全局的远程依赖关系并获取全面且有区别的特征信息;研究利用切片辅助超推理(SAHI)来识别微小物体来提高识别精度。经试验证明,改进后的Tea-YOLOX模型准确率提升0.03441个百分点,召回率提升0.07097个百分点,均值平均精度(PmA)提升0.07442个百分点。在自然条件下识别茶芽效果良好,为智能化茶芽采摘机器人提供了理论和技术支持。