关键词:
目标检测
身份识别
多目标跟踪
REID特征提取
Transformer网络
摘要:
随着社会的发展和科技的进步,利用人工智能技术对奶牛进行科学化监管已经成为现代化大型养殖场的主要发展方向。其中,奶牛目标检测、身份识别和多目标跟踪技术是实现牛舍智能化升级的关键基础环节,对于后续科学、高效的奶牛饲养工作至关重要。由于自然场景下牛舍中奶牛遮挡情况严重,摄像头拍摄距离较远,奶牛尺度变化,奶牛无规则运动问题,导致传统的奶牛身份识别方法和多目标跟踪方法精度较低。为了解决上述问题,提高识别和跟踪精度,本文的具体研究内容和创新点如下:
第一,提出一种基于Seq-Net的自然场景下奶牛身份识别方法。具体而言,该方法首先以Seq-Net为基础模型,并引入全局-局部语义信息模块,深度挖掘全局与局部场景中蕴含的丰富语义信息,通过关联二者来增强重识别特征的表达能力,从而获取更具区分度和语义内涵的特征表示。随后,为进一步丰富特征向量并帮助网络更好地捕捉图像中的细节与语义信息,提出了多级特征融合模块。该模块通过不同层级的卷积操作对多层信息进行整合,不仅提升了特征表达能力与语义信息的提取效果,还有效缓解了信息瓶颈,从而提高了识别的准确性。最后,通过全局-局部特征融合模块将全局-局部语义信息模块、多级特征融合模块以及原始REID特征有机结合,实现多尺度特征的融合与强化。
第二,提出一种基于DLA-Net的自然场景下奶牛两阶段多目标跟踪方法。具体而言,首先采用核心定位特征提取策略,从输入的视频单帧图像中提取多只奶牛的特征图,有效挖掘奶牛个体的历史位置信息;其次设计联合注意力机制,通过跨维度注意力模块捕捉通道之间的语义关联,同时利用空间注意力机制强化躯干区域的特征表达能力,提升对目标个体的识别性能。此外,通过随机模拟遮挡方法生成不同程度的奶牛遮挡场景,以提升模型在真实复杂环境中的鲁棒性。最后,基于高级运动数据匹配算法,结合时空信息和个体外观特征,精准地实现了跨帧之间奶牛个体的稳定关联,从而提高了整体跟踪效果。
第三,提出了一种基于Transformer的自然场景下奶牛端到端多目标跟踪方法。具体而言,首先采用完整的Encoder-Decoder结构,其中Deformable Attention Transformer(DAT)作为骨干网络,用于多级特征的提取。其次设计时空记忆优化编码器,通过自回归方式对奶牛的历史位置进行编码并自动更新,实现时空信息的自动融合,免去了手动选择时空特征的繁琐,同时有效应对奶牛的不规则运动。最后,通过同构异源可变形解码器对奶牛的运动和外观特征分别进行解码,降低了在联合训练时两条分支之间的相互影响,提高了跟踪精度。