关键词： 图像处理   偏振光谱成像   语义引导   图像融合   伪装目标探测  

摘要： 在利用先进偏振光谱成像技术进行战场图像获取的基础上,提出一种基于语义引导的偏振光谱图像融合方法。首先,通过分析4个偏振角度的光谱立方体数据特征进行探测谱段选择;然后,利用语义引导和非下采样轮廓波变换计算融合图像,获得凸显伪装目标的低冗余度融合图像;最后,利用目标检测算法实现了伪装目标的精确定位。实验结果表明,所提出的图像融合方法在4个无参考指标方面均优于其他7种主流的融合方法,目标检测中能够实现对12种伪装目标的精准定位识别,证明了偏振光谱成像和所提融合方法的优势。

关键词： 遥感影像解译   目标检测   小样本学习   深度学习   元学习   迁移学习  

摘要： 深度学习目标检测模型构建通常需要大规模的训练样本集,而遥感影像目标检测中通常由于标注样本有限难以满足神经网络的训练需求。小样本学习(FSL)方法是在训练样本稀缺的条件下构建深度学习模型的一种有效方法,在自然影像小样本目标检测(FSOD)中应用较为广泛,但是针对遥感影像的小样本目标检测方法较少。针对自然影像数据集的小目标检测方法,系统总结了度量学习、元学习、迁移学习和数据增强四类FSOD方法的原理及优缺点,进而重点围绕遥感影像FSOD方法研究现状,提出遥感影像FSOD的发展方向是建立公认的评定指标、三维目标检测和多元特征融合。

关键词： 钢琴音乐转写   Transformer   合成音乐预训练   音符事件特性   目标检测  

摘要： 自动音乐转写,即利用程序将音乐音频转写成音符的形式,是音乐信息检索的一项重要课题.目前基于深度学习的转写算法多源自语音识别、自然语言处理等领域,缺乏对音乐自身特性的深入研究.本文采用Transformer架构进行钢琴音乐转写,利用合成的音乐数据进行预训练,并设计了符合音符事件结构的截止点识别网络,旨在尝试对转写中的音乐特性进行针对性设计.本文的方法一方面利用了音乐合成技术成熟、便捷的方案,易于数据扩充;另一方面从目标检测的角度进行剖析,对音符本身的事件特性加以探讨.实验表明,本文采用合成音乐进行预训练有助于音符识别,截止点识别网络可以提高音符级的转写结果,实现了音符起点F1=97.40%,带截止点音符F1=88.81%的转写结果.

关键词： 计算机图形学   计算机视觉   人机交互   3D建模   虚拟世界   混合现实   无缝融合   学术交流  

摘要： 随着元宇宙热潮的兴起,作为其核心的混合现实引起了人们的广泛关注。混合现实是计算机图形学、计算机视觉、光学显示、人机交互等技术的交叉研究领域,可以将虚拟世界和真实世界无缝融合起来,有着广泛的应用。为了更好地报道混合现实相关技术与应用的发展,及时发布我国学者在相关领域的最新研究进展,促进学术交流和技术创新,《中国图象图形学报》邀请业内专家共同策划推出“混合现实”专栏,聚焦混合现实中的一些关键技术(包括SLAM、3D建模、人机交互等)的最新研究成果。

关键词： YOLOv5   目标检测   鱼类智能识别   航道工程   深度学习   生态影响评估  

摘要： 为促进深度学习技术在航道工程生态影响评估方面的应用,提高内河航道建设的生态化和智能化水平。文章筛选了36种长江航道工程区域典型鱼类为目标鱼种,采用原位与室内两种场景水下影像采集及人工标注的方法,建立了航道工程鱼类目标检测数据集。进一步利用该数据集基于YOLOv5目标检测算法进行了模型训练,并对训练的模型进行了测试验证。模型测试结果表明,训练数据集的精确率分数为0.933,召回率分数为0.98,平衡点处F1分数为0.89,均接近于1,训练效果较好。训练数据集与验证数据集的标注框损失值、目标损失值和分类损失值均趋近于0,训练和验证数据的拟合程度良好。混淆矩阵图表明不同鱼体之间能够互相区分,且能够预测为各自正确的类别。验证数据集整体mAP值为0.933,召回率分数0.98,F1平衡点处分数0.89,识别效果较好。整体测试结果表明研究形成的基于YOLOv5的目标检测技术对航道工程典型鱼类具有优良的目标检测与识别效果。

关键词： 遥感数据   图像处理   资源调度   需求预测  

摘要： 遥感图像处理系统属于计算密集型系统,在专有云资源有限的条件下,资源调度问题成为云计算技术应用中的关键问题。因专有云环境下的遥感图像处理对资源的调度需求与实际应用场景具有较强关联性,不同处理环节对资源需求各不相同,现有资源调度框架通常将 CPU、内存等作为主要资源来设计资源分配算法且没有统筹考虑图像处理任务特征属性,与实际应用场景存在一定差异。本文在现有研究的基础上,针对遥感图像处理系统资源调度问题,对基于需求预测的分类资源动态调度方法进行了研究,通过引入基于历史数据的资源容量预测和基于场景的任务分级调度策略等,实现在有限资源条件下面向遥感图像处理场景的资源动态调度。

关键词： 蛋鸡   鸡笼   体重测量   计算机视觉   神经网络  

摘要： 为了解决规模化蛋鸡养殖中传统称重法极易引发蛋鸡应激反应、影响蛋鸡生产性能和鸡蛋品质的问题,试验采用一种基于计算机视觉的笼内蛋鸡体重测量方法,首先通过深度相机在不同距离、不同角度采集鸡笼中蛋鸡图像,克服距离、拍摄角度对测量精度产生的影响;其次利用YOLOv5s模型检测蛋鸡躯干,减少背景对特征提取的干扰;最后通过拼接卷积注意力模块与Resnet50神经网络提出两种测量方案。结果表明:两种测量方案在平均相对误差和平均绝对误差上均优于Resnet50神经网络模型;在相机距蛋鸡40~80 cm时的测量拟合度均大于0.994。说明本研究提出的蛋鸡体重测量方法的精度和相关系数均能满足实际生产需求,可为蛋鸡体重测量提供新的理论参考。

关键词： 智能修草机   机器人技术   计算机视觉   机器学习   自主导航   精确修剪  

摘要： 草坪修剪是一项重要的园艺工作,传统的草坪修剪方式需要人工推动或背负修剪工具,当修剪大面积的草坪时非常耗费人力,因此基于机器人操作系统(ROS)设计了一款智能修草机。研究了智能修草机的设计原理、技术实现、性能评估及其在草坪维护领域的潜在应用。智能修草机集成了现代机器人技术,详细阐述了其在草坪识别、路径规划、自主导航、精确修剪等关键功能上的技术实现和创新点。这些功能的实现主要依赖于先进的机器人控制算法和机器学习模型,前者可用于识别草坪边界和障碍物,后者可用于优化修剪策略和路径规划。随后,通过一系列实验验证了基于ROS智能修草机的性能表现。其不仅能够提高草坪维护的效率,而且能够降低对环境的污染,具有一定的实用价值。

关键词： 多目标跟踪   目标检测   全关联   遮挡   自助收银台  

摘要： 自助收银台监控视频中商品目标之间频繁发生的遮挡现象会导致目标外观信息缺失,同时静止状态商品的运动信息无法为目标关联提供有价值的跟踪线索,导致自助收银台场景下目标跟踪困难。本研究提出一种遮挡目标全关联跟踪模型,将自助收银台场景下商品目标逐帧运动造成的遮挡现象理解为一个渐变的推理过程。模型使用基于检测的跟踪范式在目标外观信息缺失和运动信息为零时,提出遮挡率和层次信息作为遮挡目标关联的辅助信息,并借助卡尔曼滤波算法对遮挡现象推理过程中多个目标和不同轨迹之间进行关联。实验结果表明,本研究方法能够提高自助收银台场景下的商品目标跟踪精度,且遮挡率和层次信息能够有效减少目标轨迹碎片的数量,多目标跟踪精度和身份识别F1分数分别达到80.7%和80.4%,比ByteTrack模型分别提升10.6%和9.8%。

关键词： 人工智能   深度学习   计算机视觉   目标跟踪   神经网络   Transformer   特征融合   时序建模  

摘要： 孪生跟踪器的出现极大提升了跟踪任务性能。然而,当前跟踪器难以精准描述目标外观变化,造成面临遮挡和尺度变化等挑战时的性能衰减。另外,杂乱背景会产生干扰响应图,误导目标定位。为此,引入2个基于Transformer的跟踪模块用于提高孪生跟踪器性能。其中时空融合模块使用交叉注意力机制的全局特征关联,迭代累积历史线索从而提高目标外貌变化的鲁棒性。判别力增强模块关联目标和搜索区域的语义信息,以提高目标判别能力。此外,使用空间通道加权特征融合,充分发掘空间分布和语义相似性的时空信息。所提模块可嵌入主流孪生跟踪器,在公开数据集上的实验证明了方案的优越性。