关键词： 智慧养殖   计算机视觉   目标检测   YOLOv8   目标跟踪  

摘要： 随着科技的发展,在畜牧养殖场中,借助智慧养殖手段,设计智慧畜牧系统,能够有效降低疫病传播的概率,同时解放劳动力,实现畜牧养殖行业的发展。本文针对畜牧场的牛只非接触检测与跟踪问题,主要研究内容如下: 首先,进行了牛只目标检测方法研究,实地采集了内蒙古地区某圈养牧场的牛只数据,建立了数据集。针对数据集中存在牛只位置不同使检测目标大小不一、牛只相互遮挡以及天气不同光线变化等实际情况,本文以YOLOv8为基础检测框架,进行了如下改进:引入SPDconv模块代替了YOLOv8中的conv模块,将输入特征图的空间维度转换为深度维度,保留更多的细节信息;在特征提取网络深层引入了DAT自注意力模块,允许模型根据输入图像的特定区域自动调整采样点位置,可以灵活地捕捉重要的特征;在YOLOv8的基础结构引入了PGI可编程梯度信息网络,为主干网络提供额外的梯度信息,克服算法信息丢失。经测试集实验验证,本文改进算法牛只检测的m AP＿0.5值为94%,比YOLOv8提升了3.2%,检测速率为40帧每秒,具有良好的精确性和实时性。 其次,进行了牛只跟踪方法研究,基于牧场内牛只运动具有随意性的特点,对Byte Track跟踪算法进行了改进。Byte Track跟踪算法的滤波是基于匀速直线运动设计的,通过在Byte Track跟踪算法中进行目标预测的卡尔曼滤波器中引入了加速度参数,并且将滤波算法中使用长宽比和宽度表示框大小的方式改为直接使用长与宽的方式,防止因目标变形而导致目标框变形从而跟不上的情况发生,提高了对非匀速运动目标的跟踪性能。将检测算法SDI-YOLOv8作为跟踪算法的目标检测器,与改进的跟踪算法结合进行了联合仿真实验。本文算法在牛只跟踪实验中的MOTA为89.15%,IDF1为90.58%,相较于原始算法分别提升了4.4%和7.39%。 最后,基于本文研究的牛只检测和跟踪算法,设计了牛只跟踪计数仿真平台,实现了对视频中牛只的实时计数,为牛只检测与跟踪的应用提供了基础。

关键词： 深度神经网络   目标检测   对抗训练   对抗鲁棒性  

摘要： 人工智能技术最近几年逐渐融入到实际应用场景。依托深度学习技术的目标检测算法,也在自动驾驶等领域取得了重大进展。 大量文献研究指出,目标检测模型极易受到对抗样本的干扰。攻击者向图片中添加微小的扰动,生成对抗样本,影响模型定位的精度,导致误检漏检,m AP趋近于0,阻碍了目标检测技术广泛应用。对抗训练(Adversarial Training,AT)目前是提升对抗鲁棒性的重要手段,本文围绕目标检测模型的对抗鲁棒性,提出两种对抗训练方法。主要工作如下: (1)目前目标检测模型对抗训练方法存在两大性能瓶颈。为了缓解目标检测子任务(分类、定位等)的梯度冲突问题,本文提出了GC-AT(Gradient Contribution-based Adversarial Training)方法,拆解目标检测模型的任务领域,从多任务学习的角度,提出基于梯度贡献的模型参数更新策略,促进模型保留和强化特定任务的对抗鲁棒性特征。并结合模型的随机动量订正策略和一致性正则化项,进一步改善鲁棒性-准确性权衡问题。提出的GC-AT方法让SSD模型的对抗鲁棒性均值提升31.6%。 (2)目标检测模型存在前景背景类别不平衡的固有弱点,本文为了提高分类子任务的对抗鲁棒性,从前景目标损失增强的角度出发,提出了FEGC-AT(Foreground-Enhanced Gradient Contribution-based Adversarial Training)方法。该方法设计了基于IoU的自适应损失权重,提高模型对高IoU样本的关注度。引入-Focal Loss动态加权机制,提高前景目标的置信度,削弱高置信度样本损失,从而优化低置信度前景样本。此外为了提高对抗训练的效率,FEGC-AT还引入了随机初始化的PGD方法生成对抗样本,减少计算开销。提出的FEGC-AT方法让SSD模型的对抗鲁棒性均值提升33.3%。

关键词： 奶牛   体尺测量   动物表型   关键点检测   智慧牧场  

摘要： 奶牛表型信息获取是遗传与育种学的重要组成部分,体尺作为奶牛日常健康状况和成长状态监测的首要指标,实现非接触、自动化的体尺状态监测对奶牛生产和繁育具有重要意义。然而,现有的奶牛体尺获取仍停留在手动测量阶段,测量人员采用枷锁固定奶牛并采用测杖和卷尺等工具测量,这种方法效率低、工作量大、降低奶牛福利并影响人员健康。为此,本研究结合实例分割、关键点检测、多视角重建和计算机视觉技术,针对复杂牛场环境,构建了头锁固定和通道运动两种场景下的奶牛表型数据集方法,设计了适应不同场景特点的奶牛体尺测量方法,实现了头锁固定和通道运动场景下的奶牛表型获取、分割、关键点检测及体尺测量,并在实际养殖环境中验证了体尺测量方法的准确性和稳定性。主要研究内容及结论如下: （1）提出了基于单目相机的奶牛三维点云重建及像素级分割方法,解决了头锁固定下奶牛点云分割难题。利用运动恢复结构算法从多视角图像中恢复三维点云,并结合图像-点云信息交互,实现了奶牛点云的精确分割。改进的YOLACT++（You Only Look At Coefficien Ts）实例分割网络结合GECA（Ghost-based Efficient Channel Attention）和AC-FPN（Attention-guided Context Feature Pyramid Network）,提高了多视角奶牛图像的分割精度（85.98%）。结果表明,该方法点云分割结果不依赖点云质量,可在点云存在孔洞或缺陷的情况下准确完成奶牛点云分割。同时,该方法对合理视角数量（20～40）下的截断面积变化表现出较好的稳定性,提供了一种有效的奶牛表型获取方案。 （2）研究了一种基于改进的深度实例分割的挤奶通道运动奶牛点云分割方法,通过引入双模态实例分割,解决了传统深度图像分割在运动、多目标和背景变化场景下的不足。改进的双模态YOLO-Dcow（You Only Look Once-Depth images of Cows）网络利用真实尺度的颜色、纹理和形状信息,实现了高精度的奶牛分割,深度信息为实例分割网络提供了真实的尺度信息。试验结果显示,改进方法在YOLACT++、Mask R-CNN和YOLOv8-n网络上的精度提升分别为AP（0.3%-1.1%）和AP90（1.0%-8.0%）。该方法通过融合不同上采样方法,提出了新的原型生成模块,减少了棋盘格效应和高频特征损失,适用于多目标和运动场景的奶牛深度图像及点云分割。 （3）提出了一种基于单阶段关键点检测网络Cow K-Net（Cow Keypoint-Net）的奶牛体尺关键点高效预测方法。针对奶牛体尺测量的高精度要求和低参数量特点,设计了单阶段神经网络进行关键点检测。通过关键点精炼模块优化了通道和空间信息交互,结合基于卷积神经网络（Convolutional Neural Networks,CNN）的跨尺度特征融合和基于Transformer的深层信息交互,提升了关键点检测精度（92.8%）。该方法在光照和噪声变化下展现了较好的稳定性,减少了18%的参数量,降低了计算资源消耗,为奶牛体尺测量任务提供了可靠的解决方案。 （4）实现了基于关键点检测的奶牛体尺测量方法。通过将二维关键点投影至三维点云,自动实现奶牛体尺的测量。试验结果表明,体斜长、体高、臀高和胸深的测量相对误差分别为2.8%、6.7%、4.1%和4.4%。然而,测量精度受双目相机成像质量的影响,光照、毛发纹理特征和相机误差可能导致关键点映射的缺失或偏差。光照变化系数γ在0.67至2.5之间时,体尺测量误差小于5 cm,表明该方法对光照变化具有较好的稳定性。 （5）研究了基于形态学特征的奶牛体尺测量方法。根据奶牛的形态学特征,在补全后的点云上自动标定体尺关键点,并完成体尺测量。试验表明,该方法在体高、体长、胸围和胸宽的测量误差分别为2.75%、3.10%、4.23%和5.72%。该方法对不同奶牛姿态保持较好的鲁棒性,并采用带光滑因子的样条曲线点云补全方法,相较于网格化点云补全,减少了胸围和胸宽测量误差。此方法提供了一种低成本、高便捷性的奶牛体尺测量解决方案,对于智能化养殖和健康监测具有一定的实际价值。

关键词： 目标检测   域适应   无源域适应   图神经网络  

摘要： 目标检测是计算机视觉的核心任务之一,其目的是在从图像或视频中定位并识别出其中的物体。随着卷积神经网络在计算机视觉领域的快速应用,目标检测经历了从传统方法到深度学习的跨越,进入了高速发展期,并得到广泛的应用。在实际应用中,往往面临着数据分布差异(如天气、拍摄设备导致的域偏移)问题,这一问题会导致同一个模型参数在不同数据集场景中表现出较大的差异,即泛化能力差,这在实际应用中会导致严重的后果。为了提高不同数据集场景下目标检测器的泛化能力,越来越多的研究者开始关注目标检测任务中的域适应,即域适应目标检测。当前,最常见的域适应目标检测方法是对齐源域数据集和目标域数据集之间的特征分布。这一方法重度依赖于有效的源域数据集和目标域数据集,但在实际应用中,源域数据集可能会由于种种原因无法使用(例如涉及隐私、保密)。针对源域数据集无法获取的情况,研究者们开始研究无源域适应目标检测任务。针对无源域适应目标检测所面临的无法获取源域数据集问题,本文提出了两种算法来解决,分别是基于域交叉注意力机制的DETR模型和基于图神经网络的关联增强均值教师框架。 基于域交叉注意力机制的DETR模型。该方法是利用Transformer的注意力机制,重新设计Transformer的编码器和解码器部分,在两个不同的域之间实现交叉注意力,进而实现跨域特征融合,最后利用图节点分类损失取代匈牙利匹配损失,实现构建语义拓扑结构用于域适应。在四个数据集、三个域偏移场景下进行的实验表明,该算法能够有效地提升模型的泛化能力,降低域偏移造成的影响。与基线模型相比,该算法在三个域偏移中的准确率分别提升6.1%、9.2%、9.4%。同时经过消融实验表明,本文中提出的新模块均能起到一定的作用。实验结果的可视化也表明,该方法有着更高的准确率和更低的误检率。 基于图神经网络的关联增强均值教师框架,通过整合语义拓扑结构与位置信息构建图结构,并采用图引导特征融合网络实现源域与目标域的对齐。进一步利用这些特征与图结构构建图引导双向验证机制来筛选高质量伪标签进行监督。在四种域适应场景和六个标准基准数据集上的实验表明,本方法性能优于当前最先进的域适应方法。与基线模型相比,该算法在四个域适应场景中的准确率分别提升12.5%、18.2%、15.5%(第三种域适应场景情形一)、12.1%(第三种域适应场景情形二)、13.4%。消融实验证明了该算法中的模块均能起到一定作用。最后的实验结果可视化证明该方法可以有效地弥合域偏移造成的域适应差异。

关键词： 深度学习   目标检测   多目标识别   仪表自动读数   高温检测  

摘要： 近些年,基于深度学习的目标检测算法在精度和速度上取得了显著进展。然而,在变电站应用存在诸多问题。比如:变电站的多目标识别存在精度和效率不足的问题;仪表识别面临复杂外形和多样化形式,导致特征提取困难的问题;设备高温检测存在易受到背景温度干扰且彩色图像无法有效提供温度信息的问题。针对上述问题,本文利用深度学习目标检测算法,通过精细的特征提取和目标定位,分别提出了针对变电站多目标识别、指针式仪表识别读数以及设备高温检测的解决方案。具体的研究内容如下: (1)针对变电站多目标识别问题,提出一种基于Axial Mask R-CNN的变电站多设备识别方法。将Axial Attention注意力机制嵌入Res Net网络中,增强网络对长程依赖关系的建模能力以及对复杂目标的捕捉与精细分割的效果。其次,调整RPN锚点比例,优化对变电站设备不同形状和尺寸的处理能力,为变电站核心监测设备的目标检测提供了较高的实际应用价值。 (2)针对变电站指针式仪表自动读数问题,本文提出了一种基于Faster R-CNN的变电站仪表识别与读取方法,在检测精度和计算速度方面均有显著提升。首先,将SE-Net与ECA-Net相结合,形成一种新的注意力机制模块,并嵌入Faster R-CNN的特征提取网络,提升模型的特征表示能力、多尺度适应性和计算效率。其次,结合Emgu CV图像处理库,对分割出的表盘图像进行预处理,通过随机采样圆检测以及径向灰度求和法精确定位表盘和指针,最后通过偏移角度计算得到仪表的读数。 (3)针对变电站设备高温检测问题,本文提出了一种基于Mask R-CNN的电力系统红外图像识别与高温检测方法。将ECA-Net与Mask R-CNN的特征提取网络结合,提升了模型的实例分割能力,并根据所识别的变电站设备修改RPN锚点比率,优化了模型对细长设备的适应性,提高模型的分割效率。在高温检测方面,分析红外图像灰度与温度的线性关系,将灰度值转换为温度值,提取红外图像中高温区域。 综上所述,本文围绕变电站多目标识别、变电站仪表识别检测和变电站设备高温检测三个应用场景,提出了基于深度学习网络的检测方法。同时,结合实际应用需求,提出对应的解决方案。为变电站的智能化管理和安全运行提供理论支撑和实践依据,并对智能制造、新能源、电力电子和航空航天等相关领域的目标检测任务具有一定的参考价值。

关键词： 压疮图像   Realsense   图像处理   语义分割   目标检测  

摘要： 压疮是一种由于长时间不活动而造成的皮肤损伤。目前国内外老年患者中的压疮患者数量都较多。压疮治疗过程往往需要频繁、不便及昂贵的临床就诊。传统的压疮伤口评估方式,不仅往往让患者在评估过程中感到不适,而且依赖于医护人员经验。尽管国内外已有大量研究致力于压疮的护理与监测,但这些研究方案往往面临着仪器设备庞大、接触式监测方式以及高昂成本等问题。 考虑以上因素,本文提出了一种高性能压疮图像处理与识别系统的设计方案,旨在提升压疮监测的效率。本文提出的该系统包含三部分关键技术的实现:用于记录压疮数据的可视化测量技术、用于判定压疮受损范围的图像分割技术以及用于压疮分期识别的目标检测技术。基于该方案,本文开展了以下研究: 1、本文设计了一种基于Realsense三维深度相机和Open CV(Open Source Computer Vision Library)的压疮长、宽及面积数据可视化测量方案。基于Open CV对Realsense采集的图像进行数字化处理,提取伤口边缘特征,结合Realsense相机内置矩阵参数实现三维坐标转化并以欧式距离计算得出长、宽及面积数据。 2、本文设计了一种P-Unet模型用于实现压疮语义分割。P-Unet网络引入PPM金字塔池化模块用于压疮图像多尺度变化特征的学习,同时接受输入三通道彩色图并直接输出一维的分割图且维持输出与输入图像同等大小。基于本文设计的P-Unet在压疮数据集上的训练结果表明,P-Unet在压疮图像上的Dice分数优于原始Unet,是切实有效的网络设计方案。 3、本文设计了一种CS-YOLOv8模型用于实现压疮分期识别。CS-YOLOv8网络引入CBAM注意力机制模块用于提升解耦检测头对小目标的检测能力,同时改用SAConv可切换空洞卷积模块用于提升卷积过程中的感受野大小。基于本文设计的CS-YOLOv8在压疮数据集上的训练结果表明,CS-YOLOv8在压疮图像上的Precision、m AP值优于原始YOLOv8,是切实可行的网络设计方案。 综上所述,本文提出的高性能压疮图像处理与识别系统完成了三部分功能的设计与验证过程,论证了该系统的可行性。本文提出的系统设计具有便携性、数据直观性以及可视化、轻量化及智能化的特点。本文研究工作为压疮临床护理与监测工作及相关研究提供了一定的研究思路,具有实际的应用价值。

关键词： 目标检测   YOLOv8   自注意力机制   多尺度注意力机制   变电站缺陷检测  

摘要： 针对变电站缺陷检测任务中复杂场景、目标尺度差异大以及背景干扰多的问题，文章提出了一种改进的YOLOv8算法。在YOLOv8网络结构中融合自注意力机制(self-attention)与多尺度注意力机制(multi-scale attention)，通过捕获特征图中的长距离依赖关系与动态调整多尺度特征权重，增强模型对复杂背景下关键特征的提取能力，并提升小目标检测的精度。为适应变电站缺陷检测需求，构建专业的数据集，并采用自适应训练方法优化超参数设置，提高模型的泛化能力。实验结果表明，改进算法在检测精度和鲁棒性方面显著优于传统YOLOv8算法，尤其在小目标检测和复杂场景下表现出更强的识别能力。

关键词： YOLO   草莓成熟度   目标检测   图像处理   深度学习  

摘要： 草莓生长环境复杂，显著增加了草莓成熟度检测的难度，限制了自动化采摘技术的发展。为解决这一问题，建立了1个包含5 145张图像，3种成熟度类别的草莓数据集。同时提出1种草莓成熟度检测方法ASD-YOLO。首先，在特征感知阶段引入自适应下采样方法，通过其自适应调整采样区域的能力，保留草莓目标的细节纹理特征，提高模型表征能力；其次，嵌入无参数注意力机制，动态增强有效特征响应并抑制无关背景干扰，显著提升模型在遮挡和光照变化条件下的识别鲁棒性；最后，针对不同成熟度草莓所表现出的复杂特征，在模型中引入统一注意力机制目标检测头，融合尺度、空间及任务感知能力，提升多尺度目标检测精度。结果表明：该方法在草莓成熟度检测任务中精确率、召回率、F1分数以及平均精度均值分别为94.8%,94.0%,94.4%和97.2%，验证了该方法的准确性和可靠性，为草莓自动化采摘提供理论依据。