关键词： 模型压缩   知识蒸馏   知识增强   特征重建   目标检测  

摘要： 目的知识蒸馏作为一种有效可行的模型压缩方法现已在图像分类领域得到了广泛的研究。由于目标检测网络的复杂性加大了知识蒸馏的难度,现有应用于目标检测的知识蒸馏方法效果并不理想。为此,提出一种适用于目标检测任务的知识蒸馏方法,即基于知识增强的特征编辑重建蒸馏,实现对目标检测模型的有效压缩。方法针对现有方法只在教师模型和学生模型的对应特征层之间进行蒸馏,无法充分利用教师模型中隐藏的“暗知识”的问题,通过空间注意力和通道注意力分别对教师特征进行自下而上和自上而下的多尺度特征融合以进行知识增强;针对当教师模型和学生模型能力差距过大时,学生模型无法理解教师模型的知识导致蒸馏性能受限的问题,通过将教师模型的部分特征作为先验知识融合到学生模型的特征中,以缩小教师模型和学生模型之间的表征能力差距,并删除学生模型特征的边缘、轮廓等细节信息,实现特征编辑,然后迫使学生模型利用剩余特征结合先验知识通过一个简单的卷积块来恢复删除的细节信息,进行特征重建,使学生模型在此过程中得到正向的反馈,从而学习到更好的特征。结果实验在两个数据集上采用基于ResNet50(residual network)的RetinaNet(retina network)、Faster R-CNN(faster region-based convolutional neural network)、FCOS(fully convolutional one-stage object detection)3种不同类型的检测器与最新的4种方法进行了比较,VOC2007(visual object classes 2007)测试集的平均精度均值(mean average precision,mAP)对比基线分别提高了2.1%、2.7%和3.8%;NEU-DET(Northeastern University surface defect database)测试集的mAP对比基线分别提高了2.7%、2.6%和2.1%,均高于当前性能最优的算法。结论本文所提出的方法能充分挖掘出教师模型的能力,有效提升学生模型的性能,同时适用于多种类型的目标检测器。

关键词： 图像去雾   图像处理   深度学习   图像增强  

摘要： 图像去雾作为图像清晰化的技术之一,通过降低雾霾对图像质量的影响,增强机器视觉在雾霾天气下的鲁棒性及环境适应性,是低级视觉任务中的重要研究内容。首先,回顾了早期图像去雾算法及了解了图像去雾技术发展现状,总结梳理了国内外去雾算法文献,将去雾算法按是否考虑图像退化原理分为基于模型的去雾算法和无模型的去雾算法两大类进行研究讨论;其次,介绍了各类经典去雾算法,对其特点进行分析对比,总结各方法的优缺点;最后,对图像去雾算法未来的研究方向及趋势进行了讨论。

关键词： 多模态特征融合   视频   图像   目标跟踪   多模态  

摘要： 现有的跟踪方法实际位置与目标位置存在误差,为此研究基于多模态大模型的多路视频图像目标跟踪方法。通过光学影像与SAR影像结合的方式构建多模态数据大模型,通过数据融合方式提取多路视频图像多种特征,并采用通道叠加方法将不同模态特征合并融合,实现优势互补。利用布莱卡滤波方法预测目标的可能位置,然后以该预测位置为中心,对周围区域内的像素点进行整合。根据导向概率来构建一个导向图,统计各视频块中的目标点与总样本点数的比率。通过与预设的阈值比较,动态调整跟踪窗口的大小,完成目标跟踪。实验结果表明,不论是单目标还是多目标的情况,通过扫描发现目标位置与实际区域达到最佳匹配,记录到最终位置的像素坐标为(30,550),与预期效果相符合。达到了良好的跟踪效果,实现了对多路视频图像中目标的精确跟踪。

关键词： 自动驾驶   YOLOv8n   小目标   遮挡目标  

摘要： 针对自动驾驶场景遮挡目标和小目标检测困难问题,提出了FAN-YOLOv8n自动驾驶检测算法。设计了特征感受野融合模块(EFFVM),增强模型主干部分对局部特征的提取,提高模型对遮挡目标的检测能力;在模型头部增加了更浅特征层P2的检测头,提高模型对于小目标的检测效果;在模型颈部设计了特征指导模块(FGM)来融合浅层和深层的特征信息,使得两层之间能够更好地进行特征交互,让模型更关注细粒特征。提出了特征层融合模块(FLFM),融合多尺度特征层并进行特征增强,使模型能够自适应不同尺度目标的检测。实验结果表明,在SODA10M数据集和部分BDD100K数据集上,改进模型的mAP0.5对比原始YOLOv8n模型提升了7个百分点和6.5个百分点,适用于实际自动驾驶检测任务。

关键词： 目标跟踪   热红外跟踪   挑战属性   模态交互  

摘要： 因为不易受光照、遮挡影响以及极强的鲁棒性,RGBT目标跟踪在视频监控、自动驾驶等领域得到了广泛的应用。利用在红外图像和可见光图像中常见的挑战属性,将两种模态信息充分交互,构建了一个有效的跟踪网络,能够克服跟踪过程中一些常见的不利场景带来的影响。该网络由特殊属性融合模块、共同属性融合模块和跨模态交互模块三部分组成,特殊属性融合模块让网络能够提取两种模态所特有的挑战属性信息,充分利用不同模态信息的优势;共同属性融合模块对目标跟踪中两种模态都匹配的属性提取特征并自适应聚合信息,给每个共同挑战属性分配对应的权重,增强跟踪器的自适应性;模态交互模块将红外图像和可见光图像进行模态交互,在两个特定模态信息中融合共同模态信息,让网络具有更强的鲁棒性;针对不同模态的信息损失异源问题,优化了损失函数,增强了对每个模态的关注,加快了网络的收敛速度。该网络分别在GTOT,RGBT234,LasHer数据集中进行了测试,在RGBT234数据集上达到了84.1%的精确率和57.3%的成功率,在Lasher数据集上达到了52.3%的精确率和39.1%的成功率。结果表明跟踪器达到了较好的性能,证明了该方法的有效性。

关键词： 脑卒中   医学图像分割   计算机视觉   深度学习   计算机断层扫描   磁共振成像  

摘要： 急性缺血性脑卒中是临床上最常见的卒中类型,因其症状突发且治疗时间窗较短等特点,成为全球导致残疾和死亡的重要因素之一.随着人工智能领域的迅速发展,深度学习技术在急性缺血性脑卒中的诊疗中展现出巨大的潜力.深度学习模型能够快速高效地根据患者脑部图像对病灶进行分割与检测.本文介绍深度学习模型的发展历程和用于脑卒中研究的常用公开数据集.针对计算机断层扫描(computerized tomography,CT)和磁共振成像(magnetic resonance imaging,MRI)衍生出的多种模态和扫描序列,详细阐述了深度学习技术在急性缺血性脑卒中病灶分割与检测领域的研究进展,总结并分析了相关研究的改进思路.最后,指出了深度学习在该领域现存的挑战并提出了可能的解决方案.

关键词： 目标检测   航拍检测   YOLOv8   轻量化   注意力机制  

摘要： 针对现有无人机航拍检测图像所存在的检测精度低,检测模型参数量过大影响检测速度,对小目标检测出现漏检误检等问题,以及满足对高速公路进行实时检测,提出了一种改进YOLOv8n的目标检测算法。在颈部网络结构中添加CBAM注意力机制,增加对小目标的细节信息,提高特征提取精度;将原本的骨干网络替换为MobileNetV3网络结构,对整体网络进行轻量化改进,从而提高检测效率和检测精度;并采用Focal-EIoU Loss替换原本的CIoU损失函数,对损失函数进行性能优化,提高检测模型的泛化能力。在数据集上对模型进行实验验证,结果表明改进后的MCF_v8n检测模型性能优于原始模型,在参数量上减少了约23%,计算量下降了约30%,mAP@0.5和mAP@0.50∶0.95分别提高了5.0和2.4个百分点,整体表现出良好的检测性能。

关键词： 目标检测   绝缘子表面缺陷识别   小目标   卷积和注意力融合   边界框损失函数   分类损失函数  

摘要： 针对当前绝缘子表面缺陷识别存在的图像背景复杂、缺陷小目标识别效果差的问题,提出一种基于YOLOv8的输电线路绝缘子表面缺陷识别算法。首先,在主干网络引入CAF模块,增强模型对复杂图像场景的解析,增强全局和局部特征的提取能力;其次,在模型的颈部网络增加GD机制,减少特征融合过程中信息的丢失,提升小目标检测能力;最后,采用ATFL分类损失函数,削弱复杂背景对小目标检测的干扰,引入PIOU边界框损失函数,提高识别精度,加快模型收敛速度。实验结果表明,该算法的mAP50达到94.1%,精确率达到92.5%,召回率达到91.3%,相较于基线模型分别提高了3.1%、0.7%、3.9%,且综合性能优于最近的YOLOv9s、YOLOv10s等代表性算法。

关键词： 图像处理   三维点云   泊松曲面重建算法   区域生长算法   曲面分割   边界特征  

摘要： 针对传统泊松曲面重建算法在物体内外边缘容易产生伪封闭曲面导致重建结果出现偏差的问题,提出了一种基于边界区域生长的改进方法。首先基于泊松曲面,通过法线提取物体边界点并拟合连续的边界曲线;然后,采用向量叉乘法筛选边界的近邻点并获取边界特征;最后,采用双射线法提取边界内曲面的初始种子点,利用以边界特征为约束的区域生长法分割泊松曲面。实验结果表明,该方法可有效去除模型中存在的伪封闭曲面,提高重建曲面的准确度和完整性,对不同类型的物体具有良好的适应性与性能稳定性。

关键词： 激光扫描   扫描成像   成像技术   图像处理  

摘要： 观察透明窗户玻璃之后的室内场景时往往会被玻璃外表面的环境光反射掩盖。出于安防,环境光反射条件下,为透过前挡玻璃观察到其后的场景,设计了基于激光线扫描的成像方法,利用一维扩束的线状激光束照明,在避开照明激光镜面反射的角度,通过一个工业相机采集目标被激光照亮的图像局部像素,扫描后将多帧被照亮的像素组合成一幅完整的照明图像,并对环境光的反射光图像进行差分处理,滤除大部分环境光遮盖目标图像的反射光干扰,提高了成像质量,从而清晰透视玻璃表面之后的目标场景。