关键词： 遥感图像   弱监督学习   旋转目标检测   向量表征   特征增强  

摘要： 为应对遥感图像中通用旋转目标检测面临的高复杂度与标注成本问题,提出了一种基于几何表征学习的弱监督旋转目标检测模型。该方法仅用水平框注释训练模型,设计了双分支共享主干和颈部网络结构,其中弱监督分支用于从水平框标注中学习旋转框的位置、纵横比和比例一致性,而自监督分支用于学习旋转一致性;为了改善特征表达和上下文交互,模型引入了浅层特征增强模块,并提出了旋转框的几何向量表征形式以提升旋转一致性学习精度;针对边界框回归,引入了基于顶点坐标的距离损失(FPD Loss),从而缓解尺寸回归对角度精度依赖的敏感性。在公开遥感数据集DOTA和DIOR-R上,该检测模型准确率分别达到了79.33%和58.50%,相较H2RBox算法提升了4.8和1.5个百分点。本文方法在基于水平框标注数据的条件下提升了准确率,降低了计算量和复杂度,为遥感图像旋转目标检测提供了新的解决方案。

关键词： 深度学习   文本视觉大模型   足式机器人   地形感知   计算机视觉  

摘要： 为提升机器人在动态复杂环境下对地形的智能感知能力,提出了一种基于多模态文本视觉大模型信息融合地形分割算法,集成了SLIC图像数据预处理、CLIP和SAM掩码生成模块、Dice系数后处理。首先,对原始输入图像进行SLIC预处理,得到图像分割子块,通过增加提示点提高后续掩码质量,可显著提高地形分类准确度。然后,通过文本-图像预训练大模型CLIP,将输入视觉图像和预设地形文本信息进行匹配,并借助其可解释性和零次学习,生成各地形提示点集合。由SAM大模型接受上述集合生成带有语义标签的掩码数据,并通过Dice系数后处理筛选可用掩码。以Cityscapes数据集为地形分割样本,验证了该算法相较于监督和无监督学习框架下主流分割算法的优越性,在无需标记数据的情况下,实现了76.58%的有效掩码生成率,IoU达到90.14%。针对四足机器人地形感知任务,添加U-net编/解码器网络量化验证模块。以生成掩码作为数据集,构建轻量化地形分割模型,部署在四足机器人的边缘计算设备,并在真实环境中开展地形分割实验。实验结果表明,2种掩码优化方法分别使模型MIo U提升了2.36%和2.56%,最终轻量化模型MIoU达到96.34%,地形分割精度可靠,该算法有效指导了机器人快速地从起点安全行进到目标地,并有效避开草地等非几何障碍物。

关键词： 计算机视觉   深度学习   无监督   异常检测   ROI  

摘要： 【背景和目的】烟叶中实际异物难以预料,而常用的有监督目标识别类算法仅适用于被训练过的已知类型异物。为实现对零样本的未知类型烟叶异物实时检测能力,有效提高物料纯净度。【方法】应用无监督的图像异常检测(Anomaly Detection,AD)技术,考虑人眼视觉系统(Human Visual System,HVS)的注意机制与基于深度学习的条件归一化流(Conditional Normalizing Flows,CFlow)框架,将感兴趣区域(Region of Interest,ROI)与正常烟叶样本构建的检测模型结合,共同预测图像像素块的未知异物概率。【结果】1)对未知异物检测F1分数为94.61%,而目标识别类算法YOLOv8对已知异物的检出率为100%,对未知异物的检出率为0%。2)提出的基于计算机视觉的烟叶异物检测部署方案,平均预测时间为0.26 s/张,可满足实时性的要求。【结论】该方案比常见的目标识别类异物检测算法应对非期望输入的鲁棒性更强,能实时检测烟叶中异物,具备成本低、部署快等优点,有良好的推广价值。

关键词： 红外目标跟踪   计算机视觉   孪生网络   相关滤波  

摘要： 针对红外目标跟踪算法在复杂场景下性能退化的问题,提出了多尺度特征响应融合的红外目标跟踪算法。该算法基于Siamese网络框架,构建了一个自适应模版更新的目标模板库,以提高模版匹配准确性。采用ResNet-50构建了多尺度特征提取与融合网络,通过多分支结构捕获不同信息的特征,并引入分组卷积以及增加每组的基数来提取多样化的深层特征。通过自适应权值分配策略,将不同尺度的特征进行融合;提出了全局感知与快速响应模块,通过可微相关滤波器层实现对整帧图像的全局感知,同时动态生成适应性滤波器以捕捉目标特征。采用核估计概率直方图建立红外目标的多尺度特征模型,在每个前向传播步骤中与候选区域进行比较,提高算法对于目标变化的响应速度和感知能力;提出了空间-通道-帧间交互自注意力模块,使模型能够更好地聚焦于全局空间特征和高响应通道,并利用帧间交互注意力增强了前、后帧信息的互补性。在LSOTB-TIR和PTB-TIR数据集上进行了实验。实验结果表明,在多种复杂场景下,提出的算法显著增强了目标辨别、感知和抗干扰能力。算法的成功率和精准率,在LSOTB-TIR数据集上分别达到了67.3%和80.0%,在PTB-TIR数据集上分别达到了64.5%和83.1%,综合优于对比跟踪算法。

关键词： 工业相机   图像差分   图像分类   活性污泥   污泥絮凝   深度学习  

摘要： 为了解决活性污泥沉降过程中识别是否存在絮凝或分层状态效率低,而对污水处理工艺判断造成影响的问题,基于计算机视觉的活性污泥沉降过程识别算法,通过工业相机拍摄污泥沉降过程视频,对视频按帧图像差分、灰度归一化、图像增强和ROI区域截取等预处理;然后将预处理后的图像通过ResNet-18训练获得识别模型,对是否存在絮凝或分层状态进行分析。结果表明:基于计算机视觉的污泥沉降过程识别具有准确率高、检测效率高等优点,保证了活性污泥沉降工艺的可利用性,为实现活性污泥沉降过程的状态识别提供技术储备,基于该结果判断活性污泥品质,为污水处理工艺提供可靠指导。

关键词： 多任务学习   果园环境感知   目标检测   语义分割   农业机器人  

摘要： 针对果园复杂作业场景中植被异质性高、光照动态变化显著以及目标形态多样性等挑战,传统基于单任务学习的视觉感知模型因特征复用率低、计算冗余度高等问题,难以满足农业机器人实时环境感知需求。本研究提出一种面向果园场景的轻量化多任务联合感知框架AgriYOLOP,通过系统性地重构YOLOP网络架构,引入高效的主干网络,并添加增强的无锚检测技术以及增加了特征金字塔网络和路径聚合网络,并设计任务自适应的损失函数权重策略,实现树干检测、障碍物识别与可通行区域分割的并行化协同处理。在自主构建的果园数据集中进行验证,该数据集包含果园场景下4765张分辨率为1280像素×720像素的图像,涵盖不同季节、光照条件及植被生长阶段。试验结果表明,AgriYOLOP模型在目标检测任务中检测准确率、召回率以及mAP50分别达到92.7%、94.6%以及96.7%,在可行区域分割任务下召回率、F1分数以及mIoU达到98.3%、99.1%、98.1%,在NVIDIA RTX 4060平台下实现69f/s的实时推理速度,模型参数量仅14 M。对比结果表明,多任务协同学习架构能够显著提升特征共享效率,较单任务模型减少32.6%推理延迟,同时增强了对光照变化与季节特征的鲁棒性,有效地解决了农业机器人实时作业场景中目标检测精度与语义分割效率的协同优化难题。本研究为果园机器人自主导航提供了高精度、低延迟的实时感知解决方案。

关键词： 机器视觉   涂胶质量   表面特征提取   图像处理  

摘要： 涂胶是一种防止产品泄漏的重要工艺,车企生产时常用机器视觉来对涂胶质量进行检控,而目前传统的视觉检测仅能识别出胶条轨迹、胶宽、断胶等二维缺陷,难以识别胶条凹陷、针孔等立体缺陷情况。本文针对机器视觉检测胶条凹陷、针孔的失效模式,提出一种基于多方向低角度照明的图像处理技术,通过分别从不同方向照明时物体表面的反射光强度变化以及阴影变化,结合差分、梯度等算法,生成高对比度图像,达到突出胶条表面的三维立体特征目的,以便于后续的缺陷检测。

关键词： 目标检测   深度学习   二维条码   DETR  

摘要： 二维条码检测在物流和零售等领域有广泛应用。然而,传统的检测方法在处理尺度变化较大等复杂情况下的表现较差,存在准确率低、计算量大、检测效率低等问题。针对上述问题,提出了一种改进DETR的二维条码检测算法。首先,通过引入二维条码目标编码和可变形注意力编码器,改善了DETR注意力检测模块在小目标检测方面的表现;然后,引入CIOU对DETR算法的损失函数做出改进和调整;最后,在标注好的二维条码数据集上对改进后的算法进行模型训练和测试,实验结果表明,所提出的改进后的DETR模型平均精度可达到86.97%,与原始DETR算法相比提高了7.15%,整体性能优于其他主流算法,有效提升了二维条码检测能力并达到较高的检测精度。

关键词： 深度学习   目标检测   YOLOv8   铁路异物  

摘要： 由于监控场景覆盖面积大、侵限异物相对尺寸小、背景干扰较多等,现有铁路侵限监控系统检测精度较低,且达不到实时检测要求,为此提出一种基于改进YOLOv8的铁路异物检测算法。首先,引用FasterNet中部分卷积的设计思想,在颈部网络采用FasterC2f模块替代原C2f模块,以降低模型参数量和运算量,同时提升模型的特征融合能力;其次,对快速空间金字塔池化(SPPF)模块进行改进,引入大型可分离核注意力(LSKA)机制,提出一种SPPF_LSKA模块结构,以在特征提取时减少复杂背景的干扰,加强对小目标的检测能力;最后,采用WIoU损失函数替代原CIoU损失函数,以降低低质量、小目标样本带来的不良梯度影响。实验结果表明:与原YOLOv8模型相比,改进YOLOv8模型检测的平均精度均值(mAP@0.5)达到92.9%,提升了2.09%,模型权重降低了3.28%,浮点运算量降低了6.17%,在检测精度和效率之间达到了较好的平衡,能够满足实际检测需求。

关键词： 多目标跟踪   课堂人数统计   YOLOv8算法   SORT算法   目标检测  

摘要： 本文聚焦于基于多目标跟踪的课堂人数自动统计这一主题,提出将YOLOv8和SORT (Simple Online and Realtime Tracking)算法相结合的方法。其中,YOLOv8作为先进的单阶段目标检测算法,能迅速识别图像或视频帧中的目标并输出关键信息;SORT算法借助卡尔曼滤波预测目标位置变化。研究通过运用特定的软硬件配置开展实验,对模型进行训练与验证。该方法旨在实现课堂人数的精准自动统计,满足课堂管理和动态监控的需求,为教师及管理人员提供有力工具。其不仅在算法应用上具有创新性,而且在教育管理实践中具有重要的实用价值,有望对智慧教育领域的课堂管理产生积极深远的影响。This paper focuses on the theme of automatic counting of the number of people in the classroom based on multi-object tracking and proposes a method that combines the YOLOv8 and SORT algorithms. Among them, YOLOv8, as an advanced single-stage target detection algorithm, can quickly identify targets in an image or video frame and output key information. The SORT algorithm predicts the position change of the target with the help of Kalman filtering. The research conducts experiment by using specific software and hardware configurations to train and validate the model. This method aims to achieve accurate automatic counting of the number of people in the classroom, meet the needs of classroom management and dynamic monitoring, and provide a powerful tool for teachers and administrators. It is not only innovative in algorithm application, but also has important practical value in educational management practice, and is expected to have a positive and far-reaching impact on classroom management in the field of smart education.