关键词： OpenCV   图像处理   特征提取   SVM  

摘要： 搭载手势识别的高科技产品在人们日常生活中发挥着重要作用。针对手势识别过程中背景繁杂等问题,本文设计了基于OpenCV的手势识别系统。该系统采用基于YCrCb空间Cr分量的OTSU法选取阈值对手势进行分割及二值化,去除手势的背景信息;在使用Canny边缘检测算子的基础上,使用傅里叶描述子作为手势的特征向量,把手势轮廓数字化;将提取的手势特征通过SVM分类器构建手势模型,从而识别手势动作所代表的数字信息。实验结果表明这一手势识别系统能够有效提取手势轮廓并且具有较高的准确率,有助于实现人机交互的自然化和人性化。

关键词： 目标检测   YOLOv8   注意力机制   损失函数   特征提取  

摘要： 针对非机动车驾驶员头盔检测任务中常存在复杂背景以及检测场景中存在的检测目标尺寸大小不一的现象,进而导致检测效率低和误检漏检的问题,提出了一种面向非机动车驾驶员的头盔检测的YOLOv8算法。在C2f模块中结合GSConv和CBAM的优点,设计C2f_BC模块,在降低模型参数量的同时,有效提升了模型的特征提取能力。设计了多核并行感知网络(MP-Parnet),提高了模型对不同尺度目标的感知和特征提取能力,使其能更好地应用到复杂场景中。为缓解复杂场景出现的正负样本不平衡等问题,在原模型损失函数CIoU基础上引入Focaler-IoU,引入阈值参数来改进IoU损失计算方式,从而缓解正负样本的不平衡的现象,有效提升了模型在复杂背景下目标框定位的准确性。实验结果表明,改进的YOLOv8n相较于原模型,在保持参数量下降的同时,mAP50和mAP50∶95在自建数据集Helmet上分别提升了2.2%和1.9%,在开源数据集TWHD上分别提升了1.8%和1.9%,说明改进的模型可以更好地应用到非机动车驾驶员的头盔检测场景。

关键词： 人脸表情识别   可解释性   计算机视觉   情感计算   机器学习  

摘要： 近年来,人脸表情识别(Facial Expression Recognition,FER)被广泛应用于医疗、社交机器人、通信、安全等诸多领域.与此同时,为加深研究者对模型本质的认识,确保模型的公平性、隐私保护性与鲁棒性,越来越多的研究者关注表情识别可解释性的研究.本文依据结果可解释、机理可解释、模型可解释的分类原则,对表情识别中的可解释性研究方法进行了分类与总结.具体而言,结果可解释表情识别主要包括基于文本描述和人脸基本结构的方法.机理可解释方法主要研究了表情识别中的注意力机制,以及基于特征解耦和概念学习方法的可解释方法.模型可解释方法主要探究了可解释性分类方法.最后,对表情识别可解释性研究进行了对比与分析,并对未来的发展方向进行了讨论与展望,包括复杂表情的可解释性、多模态情绪识别的可解释性、大模型表情与情绪识别的可解释性以及基于可解释性提升泛化能力四个方面.本文旨在为感兴趣的研究人员提供人脸表情识别可解释性问题研究现状的整理与分析,推动该领域的进一步发展.

关键词： 铁轨识别   图像处理   轨道交通   深度学习   计算机视觉  

摘要： 为了保证城轨交通中地铁的运营安全,避免铁轨轨道内障碍物的存在造成安全事故,有必要进行地铁铁轨识别。考虑到铁轨有细长连续的物理特性,同时受深度学习中的车道线检测任务启发,改进车道线检测网络CLRNet算法,提出针对铁轨图像识别的CLRNet-L算法。为解决铁轨轨道细长且难以被准确识别定位的问题,CLRNet-L使用特征金字塔网络进行高级特征与低级特征的提取与融合,通过自上而下的思想,首先用高层特征粗略地定位轨道,再利用与高层特征融合后的浅层特征进一步细化轨道从而实现铁轨识别。针对铁轨轨道线细长连续且因其颜色较深难以与周围环境区分的问题,在原CLRNet中引入注意力机制和多尺度聚合器,提出大核注意力模块捕获更多的上下文信息,加强对铁轨轨道的特征表示。由于在轨道交通领域中缺少针对铁轨识别任务的公开铁轨轨道数据集,使用在杭州5号线和6号线中采集的地铁运行时轨道照片制作轨道场景的数据集,数据集中包含直道、弯道和道岔场景的铁轨图像,该数据集用于进行铁轨识别实验,来验证算法的有效性。实验结果证明:CLRNet-L在自制数据集中达到了88.96%的MIoU和最快11.54 ms的检测速度,与其他算法相比有更高的精度和检测速度。研究结果能为地铁安全保障技术尤其是障碍物检测提供技术基础,保障地铁运营安全。

关键词： YOLOv5s   BottleNet Transformer   NAM   轻量化网络   目标检测  

摘要： 针对复杂背景下新疆棉田昆虫识别误检率高、小目标昆虫难以检测等问题,提出了一种基于YOLOv5s改进的轻量化昆虫检测模型(Lightweight Insect Detection-YOLO,LID-YOLO)。首先,主干网络使用GhostNet网络替换原CSPDarknet53网络,并采用Slim-Neck模块对颈部网络进行改进,以实现模型轻量化;其次,引入BottleNet Transformer融合模块,减少模型参数量并增强网络特征提取能力,更好检测小目标;最后,加入NAM注意力机制,通过应用权重稀疏性惩罚抑制不显著权重来提取细节特征,提高模型准确率。实验结果表明,LID-YOLO模型在参数量、计算量、模型权重大小方面,相比YOLOv5s模型,其分别减少了30.9%,45.6%和29.7%。LID-YOLO模型的准确率达到了97.4%,检测速度为55.25 FPS,与原YOLOv5s模型相比,提高了1个百分点和2.62 FPS。LID-YOLO模型在保证轻量化的同时进一步提高了检测精度,更好满足农作物昆虫实际检测的需要。

关键词： 深度学习   YOLOv5算法   目标检测   口罩检测  

摘要： 针对口罩佩戴检测中存在的面部交叉遮挡时检测困难、光线明暗目标检测精度低等问题,借助YOLOv5算法,提出了一种能够实时检测是否规范佩戴口罩的检测技术,通过实验验证了该模型在无明显遮挡,光照条件良好条件下,检测准确率较高,验证了方法的有效性,该方法可适用于动物是否佩戴口罩。通过实验给出了口罩可检测与人脸遮挡边界、光强之间的关系。

关键词： 目标检测   卷积神经网络   特征融合   归一化   Transformer  

摘要： 为了进一步提高YOLOv4算法的目标检测精度,提出一种改进算法YOLOv4TB(YOLOv4+Transformer+BiFPN)。该算法利用Transformer提取同一特征图上的共同发生的对象特征来进行特征增强,利用BiFPN(Bi-directional Feature Pyramid Network)模型替换PAN模型,解决YOLOv4中存在的冗余计算和不同特征层贡献度相同的问题。并在此基础上采用Leaky-ReLU激活函数和可分离卷积技术,解决目标检测精度下降和参数量、运算量上升的问题。在PASCAL VOC数据集上实验结果表明,与YOLOv4相比,YOLOv4TB算法具有较高的检测精度和运行效率,参数数量和运算量有所减少。

关键词： 目标检测   道路病害检测   深度学习   YOLOv7   RFB  

摘要： 随着我国公路网的不断扩展,道路病害检测已经成为道路养护与行车安全保障必不可少的组成部分,基于深度学习的道路病害检测已经成为该领域的研究热点.针对多种病害并发的复杂场景下道路病害识别精度不高、泛化能力不足的问题,提出了一种复杂场景下的道路病害检测模型RGT-YOLOv7(Receptive Ghost Triplet-YOLOv7).在主干网络部分引入三重注意力机制,提高病害特征在不同通道与空间的相关性,解决了特征提取效率不高的问题;将原有的全连接空间金字塔卷积模块替换为快速全连接空间金字塔卷积模块,并加入幻影卷积模块,提高冗余特征的使用率,将原有的冗余特征与新提取到的特征融合,得到包含不同尺度的特征信息;为了扩大模型感受野,在特征增强部分加入改进的感受野模块,利用不同尺寸的空洞卷积从不同方向对特征图进行提取,加强对横向和纵向特征的提取.实验结果表明,与YOLOv7相比,识别的平均正确率(mean average precision,mAP)和平衡F分数分别提升了6.9、3.9个百分点,尤其是对纵向裂缝危害识别的平均正确率提高了22.3个百分点,与Faster R-CNN、YOLOv5等模型相比也有良好的性能提升,表明RGT-YOLOv7是一种有效的复杂场景下的道路病害检测模型.

关键词： 缺陷检测   多尺度特征融合   注意力机制   边界框回归   目标检测  

摘要： 实时、准确的玻璃缺陷检测至关重要;然而,尺度多变的缺陷形态以及特征微弱的小目标和长宽比例极端的细长目标让这个任务极具挑战性。针对上述需求,提出一种基于改进YOLOv8(You Only Look Once version 8)的小目标与细长目标检测模型YOLO-WANI(WPAN+AMFI+NWD&Inner-CIoU)。首先,设计WPAN(Weighted Path Aggregation Network)减小小目标和细长目标信息在网络传播过程中发生的损失,从而平衡不同尺度信息的重要性;其次,引入基于注意力的多尺度特征交互模块(AMFI),以捕捉深层特征中聚焦对象的语义信息;再次,使用归一化沃瑟斯坦距离(NWD)和Inner-CIoU损失替换原始的CIoU(Complete Intersection over Union)损失,从而提高对小目标和细长目标的检测效率;最后,制作玻璃缺陷检测数据集验证模型性能。实验结果表明,相较于YOLOv8n,YOLO-WANI在玻璃缺陷检测数据集上的mAP50:95提高了1.9个百分点、mAP50提高了4.6个百分点,分别达到了42.6%、81.7%;在NEU-DET(the NorthEastern University surface defect database for defect DETection task)钢材缺陷检测数据集上mAP50:95提高了1.5个百分点、mAP50提高了1.9个百分点,分别达到了40.3%、76.1%。所提模型和各个量级的实时缺陷检测模型相比都有着最高的精度,同时只有4.1×106的参数量和9.9 GFLOPs的计算量,且FPS(Frames Per Second)达到138、单图推理时间为(7.16±0.17) ms,满足轻量化和高精度的需求。

关键词： 计算机视觉   图像处理   多目标跟踪   无人机   YOLOv7网络   ByteTrack算法   车辆检测  

摘要： 为了提高无人机视觉平台下的车辆多目标跟踪精度,提出了一种改进YOLOv7网络与优化ByteTrack算法相结合的无人机视觉车辆多目标跟踪算法。首先,针对小目标特征不明显的情况,增强了YOLOv7网络浅层语义信息的特征提取能力,同时采用SIoU-Loss对坐标损失函数进行优化,加快锚框收敛速度;其次,根据车辆运动特点,在ByteTrack算法的基础上,将卡尔曼滤波算法的状态向量融入加速度信息;最后,在VisDrone2021数据集上验证算法的有效性。实验结果表明:改进YOLOv7网络的平均检测精度比原网络提高3.2%,跟踪算法准确度比基准算法提高1.2%,高阶跟踪精度提高2.9%。