关键词： 机械手   图像处理   双目视觉   目标识别   空间定位   辣椒分选  

摘要： 针对辣椒目标识别与空间定位问题，设计了基于双目视觉的检测定位方法。采用自适应直方图均衡和白平衡算法优化图像质量，提出改进的Mask R-CNN网络实现目标分割，引入空间注意力机制提高特征提取能力。基于HSV色彩空间和灰度共生矩阵构建特征描述体系，利用改进的YOLOv5s网络完成目标识别。双目视觉测量系统结合SGBM算法实现空间定位，建立了从图像坐标到世界坐标的映射关系。该方法在辣椒分拣生产线中得到应用验证，为农产品智能分选技术发展提供了新思路。

关键词： 棉蚜   目标检测   边缘智能   视频流   TensorRT  

摘要： 作为全球最重要的经济作物之一,棉花在农业、工业及民生领域都占据着不可替代的地位。中国棉花种植呈现高度集中的区域化布局,具有规模化和机械智能化发展的产业优势。棉蚜是棉花苗期的主要害虫之一,具有极强的扩散能力,若防控不及时极易大规模暴发成灾,对棉花高产与优产构成严重威胁。目前对于作物病虫害检测的研究大都是基于传统云计算架构且围绕静态图像开展的,存在实时性差,难以开展大规模连续检测的局限性。相较之下,视频数据中蕴含更丰富的病虫害动态信息,而边缘计算将算力下沉至数据源头,在农田边缘节点实现近端实时处理,能够有效解决云端视频数据的传输时延和带宽等问题。本文聚焦棉蚜危害视频实时检测算法的优化与改进,并完成轻量级检测模型在边缘计算设备上部署的测试与应用,为棉蚜危害高精度连续检测提供了可行的技术范式。主要研究内容和结论如下: (1)基于Transformer架构的RT-DETRv2算法框架,构建了RMDT棉蚜危害视频检测算法。通过引入纯轻量级卷积神经网络架构的Rep Vi T作为模型的主干网络,进行高效的棉蚜危害特征提取;同时,优化模型的特征融合策略,将Slim-Neck设计范式引入CCFM中,构成GV-CCFM特征融合模块,进一步对模型性能进行优化和压缩;并采用MPDIo U对模型的损失函数进行优化,提升棉蚜危害目标的识别和定位精度。提出的RMDT算法具有高达93.1%的m AP50精度值,相较改进前RT-DETRv2(HGNetv2)提升了1%;此外模型的参数量和浮点计算次数分别为10.2M和24.8G,分别下降了68.8%和77.6%,实现了模型的大幅度轻量化。在批量大小为1的NVIDIA A100显卡上RMDT模型对视频流单帧的推理时间约为25.4ms。 (2)基于YOLOv11算法框架,构建了ACH-YOLO轻量级棉蚜危害视频检测算法。贯穿轻量化模型构建的思路,通过引入ADown自适应下采样方法优化特征提取效率;在主干网络的最后一层加入CPCA通道先验卷积注意力机制,在通道和空间维度上动态分配注意力权重,进行有效空间关系提取的同时,也保留了通道先验知识,使模型能聚焦重要区域,对于棉蚜危害部分小目标的检测效果提升明显;最后在颈部引入融合坐标注意力机制的高层筛选特征金字塔网络HSPFN,能够显著增强网络对多尺度特征的表现能力,同时也避免了大量的计算开销,并不会增加模型整体的复杂度。提出的ACH-YOLO模型具有高达93.6%的m AP50精度值,相较改进前YOLOv11n提升了2.1%,此外模型的参数量和浮点计算次数分别为1.61M和4.9G,分别下降了37.6%和22.2%,同时最优权重文件的大小也仅为3.4MB。在批量大小为1的NVIDIA A100显卡上ACH-YOLO模型对视频流单帧的推理时间约为14.9ms。 (3)在嵌入式边缘计算设备上实现了轻量级棉蚜危害视频检测算法的优化和部署,并搭建实时检测平台。对改进后的ACH-YOLO模型进行ONNX导出和Tensor RT引擎推理优化加速,完成在Jetson Xavier NX上的部署。对部署后的模型进行综合对比实验,分析不同框架和量化方式对模型检测速度的影响。实验结果表明,经Tensor RT引擎优化后的模型具有更好的检测速度,在FP16量化精度下,检测速度能够达到40FPS以上,满足棉田边缘场景实时检测的要求。最后,基于Streamlit框架开发用户友好的病虫害实时检测平台,整合图片、视频和摄像头检测三个模块,在边缘设备上实现棉蚜危害检测结果的实时可视化展示。

关键词： 声呐图像   目标检测   数据仿真   生成对抗网络   嵌入式平台  

摘要： 声呐图像目标检测的智能化和系统化对水下目标探测任务具有重要意义。智能化和系统化的实现需要高精度的目标检测模型和稳定运行的目标检测系统。由于水下环境复杂、实验成本高,含有目标的声呐图像可用样本较少。同时获取到的声呐图像存在混响严重、对比度低和边缘模糊的现象,使得检测模型难以提取到有效的目标特征,多尺度目标检测性能较差。因此,对于深度学习目标检测模型,训练样本稀缺将导致模型过拟合,存在漏检和误检的情况,难以适用于实际的应用。除此之外,考虑到水下探测设备在能源和空间上的限制,确保声呐图像目标检测系统的稳定性和效率仍然是一个亟待解决的挑战。针对以上问题,本文分别从图像数据扩充、算法模型改进、检测系统设计三个方面进行研究,主要工作如下: 1)针对声呐目标图像样本稀缺的问题,使用样本仿真的方法实现图像数据扩充:首先通过声传播原理和侧扫声呐成像原理构建声呐仿真模型,之后对声呐目标的点云模型进行物理建模、射线追踪和多路径反射计算模拟声呐目标阴影的形成,最后利用地形模型模拟海底背景仿真出目标的声呐图像。仿真得到的声呐图像能够有效地训练目标检测模型,提升模型的识别性能。 2)针对建模仿真样本缺少混响噪声,模型对困难样本学习能力差的问题,采用引入随机噪声的循环一致性生成对抗网络实现图像数据生成。首先添加与自注意力机制结合的残差网络提升生成器网络的全局特征提取能力,之后将判别器网络改为自编码器架构,最后引入最小二乘损失函数替换原有的损失函数,以实现高质量声呐图像的稳定生成。根据图像评价指标可知生成的声呐图像质量较高,且通过实验验证该图像数据能够显著提升目标检测模型的检测性能,提升模型的泛化能力。 3)针对模型特征提取能力弱和多尺度目标检测性能差的问题,提出了改进的YOLOv8声呐图像目标检测模型:在模型的特征提取网络中添加坐标注意力机制,增强模型对目标的定位能力,提升模型的特征提取性能;在模型的主干网络中,分别使用Swin Transformer模块和改进的金字塔池化模块,增大模型的感受野范围,以提升模型的多尺度识别性能。对声呐图像目标的实验结果表明,改进后的YOLOv8模型可以精确地识别目标,降低了漏检率和误检率。 4)针对声呐图像目标检测的系统化实现与实时性需求,基于Jetson Xavier NX嵌入式平台设计了一个声呐图像目标检测系统。系统包含数据收发、目标检测及优化、结果显示及保存三个功能。系统能够实时接收声呐图像,并利用改进的YOLOv8模型对其进行实时检测。系统采用多线程的方式实现了数据处理与目标检测同步进行。同时使用模型压缩和Tensor RT优化目标检测模型,通过知识蒸馏、模型剪枝和Uint8量化的方式,提升目标检测模型在嵌入式系统中的推理速度,满足实时检测的需求。经过测试,该系统在Jetson Xavier NX嵌入式开发平台上的推理速度达到29.4 FPS,实现了对声呐图像目标的准确检测,在实际应用中具有重要意义。

关键词： 谷粒表型   图像处理   深度学习   目标检测   图像分割  

摘要： 水稻作为核心粮食作物,其谷粒性状,如长宽、胚根长度、萌发率等,是育种评估的关键指标。传统手工测量效率低精度差,现有检测系统在功能性、易用性和精度方面仍有不足,制约大规模表型分析和育种应用。为解决上述问题,本文进行了以下研究工作: (1)设计了一种基于YOLO旋转检测算法的谷粒长宽测量方法。该方法通过多项技术优化实现了检测性能的显著提升。首先,使用八参数表示法,规范旋转目标检测数据集的表示方式。其次,引入了更加适合旋转目标检测任务的KFIo U损失函数,有效提升了检测模型对目标旋转角度和形态变化的适应能力。此外,引入SPDConv和RCS-OSA结构,进一步增强模型的特征提取能力和检测效率。 (2)提出了一种基于SAM和高斯模型的萌发谷粒分割算法。首先使用YOLO目标检测与SAM分割模型,实现对谷粒的自动分割。再基于高斯模型,对分割掩码进行像素级分类,实现对萌发谷粒胚根掩码的精确提取。通过粗细粒度不同的分割和分类流程,使得本文算法能有效获取萌发谷粒的胚根掩码轮廓,为水稻表型研究提供了一种高效、自动化的图像分析工具。 (3)提出了一种基于图像骨架化处理的谷粒胚根长度测量算法。该算法通过对胚根的掩码图像进行骨架化处理,生成宽度为1像素的骨架图,并利用图结构分析算法计算从谷粒骨架到胚根骨架端点的最短路径,进而得到胚根的真实长度估算值。 (4)设计并实现了一套基于YOLO目标检测和SAM分割算法的半自动化数据标注软件。为提高数据集的制作效率,该软件能够自动完成大部分数据标注任务,并允许用户通过手动调整优化标注,确保标注的准确性和灵活性。 (5)实验表明本文算法在精度、效率和通用性上的优势。谷粒长宽检测m AP指标达到0.951,每张图像仅需11.5毫秒即可完成检测。胚根长度测量中,本文提出的分割算法Dice系数达0.955,胚根长度测量最大绝对误差小于0.9毫米。此外,本文还对不同品种的水稻谷粒以及玉米、珍珠粟等其它作物进行胚根长度测量实验,实验结果表明本文算法具有较好的泛化能力。

关键词： 海马体认知   稀疏-密集特征融合   双掩码注意力   复杂场景感知   动态记忆推理  

摘要： 随着人工智能在复杂动态场景中的应用需求日益增长,目标检测与跟踪技术面临光照突变、目标遮挡及背景干扰等严峻挑战。传统深度学习方法依赖静态特征提取与短时记忆匹配,难以适应目标外观的动态变化,且存在计算冗余、实时性不足等问题。海马体作为大脑中负责空间记忆与语义整合的核心结构,其双通路信息处理机制背侧通路编码空间几何信息与腹侧通路解析语义特征分别模拟MEC处理“where”,即空间信息编码,位置和时间相关记忆,为空间导航和定位提供了精确的结构基础,模拟LEC处理“what”,专注于非空间信息的处理,物体识别和内容相关记忆,为记忆提供了丰富的内容基础,也为复杂环境下的生物智能感知提供了重要启示。 本文通过模拟海马体记忆编码与动态推理机制,提出类脑启发的目标检测与跟踪模型,以提升智能体在复杂场景中的感知鲁棒性与决策效率。 1)针对几何特征提取不足与语义表达不充分的问题,提出海马记忆驱动的稀疏-密集认知检测模型RL-HcNet。该模型通过稀疏几何编码模块模拟背侧通路,采用动态稀疏卷积提取目标轮廓特征;设计密集语义编码模块模拟腹侧通路,结合RoI池化强化语义表征;引入双通路记忆融合模块,通过仿生CA3的吸引子网络与Hebbian学习规则实现特征动态整合,提升了目标识别与定位的精度,解决复杂背景下的特征退化问题。 2)为进一步提升RL-HcNet在目标跟踪中的形变与遮挡干扰,构建基于海马认知的双掩码注意力跟踪模型TM-HcNet。该模型在RL-HcNet基础上引入可学习2D位置编码增强小目标表征,设计静态空间约束掩码抑制背景噪声,结合动态选择性相关掩码并通过径向基软注意力建模局部连续性,通过Transformer架构实现全局-局部特征协同,模拟海马体PP与MF通路的时空记忆强化机制,目标实现了精准的定位。 实验表明,所提模型在复杂场景下表现显著优于现有方法。模型RL-HcNet在小目标检测精度APs提升至24.9%;TM-HcNet在UAV123数据集上AUC达62.7%,较Siam RPN++提升8.5%。本文通过仿生海马体记忆强化与双通路整合机制,为目标检测与跟踪任务提供了新的生物启发式解决方案。

关键词： 稳定扩散模型   目标检测   文本反演   低秩自适应   钢板表面缺陷识别  

摘要： 钢铁工业中,钢板作为基础性材料在国民经济建设中具有不可替代的重要地位,其在多个重要领域发挥着关键作用,包括但不限于船舶制造、汽车工业、航空航天以及轻工产品制造等。随着现代工业对材料性能要求的不断提高,钢板表面质量控制已成为制约产品质量提升的关键因素之一。在钢板加工过程中,受生产设备性能、工艺参数(如高温高压环境)、运行速度等多重因素影响,极易产生划痕、凹坑、氧化皮、裂纹、结疤、夹杂等各类表面缺陷。这些缺陷不仅会降低产品的外观品质,造成商业价值贬损,还会显著增加后续加工成本,如额外的打磨、抛光等二次加工工序。更严重的是,表面缺陷会破坏材料表面完整性,加速材料氧化腐蚀进程,缩短使用寿命,甚至可能引发重大安全事故,给企业和社会带来不可估量的损失。因此,如何有效实现钢板表面质量检测与控制,已成为钢铁行业提升产品质量的关键课题,也是当前学术研究的热点方向。 近年来,随着计算机视觉技术的快速发展,基于深度学习的检测方法在工业质检领域展现出巨大潜力。相较于传统检测技术(如涡流检测、超声波检测等),基于深度学习的图像检测方案展现出显著优势:该方案可结合非接触式传感器实现无损检测,避免对材料表面造成损伤,同时兼具检测速度快、准确率高等特点,且具有更强的缺陷特征学习能力。本研究以不锈钢钢板为研究对象,基于深度学习技术框架,从数据增强、检测算法优化和检测系统实现三个维度展开深入探究,旨在构建一套高效、可靠的钢板表面缺陷检测解决方案。具体研究内容如下: 在检测模型优化方面,本研究对YOLO11s模型进行了系统性改进:首先,在骨干网络中嵌入SCAM(Spatial-Channel Attention Module)注意力模块,通过协同整合全局特征提取与注意力机制,使网络能够更关注缺陷区域的显著性特征;其次,采用MPDIo U(Minimum Point Distance Intersection over Union)作为新的边界框损失函数,该函数通过最小点距离计算来优化边界框回归过程,以优化目标定位精度。通过上述改进,最终构建了YOLO11s-SCM改进模型。在标准缺陷数据集上的测试结果表明,该模型对六类典型缺陷的检测精度达到78.0%m AP,较基线模型有明显提升。 针对工业生产中缺陷样本稀缺导致模型泛化能力不足的问题,本研究创新性地提出了一种基于Stable Diffusion模型的微调优化策略。该方法首先采用文本反演(Textual Inversion)技术优化模型的文本嵌入空间,通过将特定缺陷特征编码到文本嵌入空间,实现文本到图像的精准控制;继而结合低秩自适应(Low-Rank Adaptation,Lo RA)方法对模型进行轻量化微调,实现生成图像与真实缺陷数据集的分布对齐。特别地,在训练过程中引入感知损失函数以提升生成图像的视觉真实性,通过VGG网络提取多尺度特征来提高图像的保真度,最终构建出SD-SSG模型。实验证明,该方法生成的合成图像不仅质量优异,在FID指标上可达到101.01,而且通过此数据增强可进一步将目标检测模型精度提升至80.3%m AP。 为实现检测系统的工程化应用,本研究设计并实现了一套完整的钢板表面检测软硬件系统。通过深度学习模型部署与图形用户界面开发,实现了检测过程的可视化管理与自动化处理。经实验,系统检测速度达到53帧/秒,充分验证了所提方法在实际应用中的有效性和鲁棒性。

关键词： 目标识别   深度学习   图像融合   图像处理   数据增强  

摘要： 目标识别技术在安防体系、军事侦察等领域具有关键作用。基于红外成像的目标识别技术能够实现全天候监测但成像分辨率低,基于可见光的目标识别技术可提供丰富的纹理细节但过度依赖光照,因此,受环境因素干扰,基于单一模态的识别方法易出现识别准确率下降、漏检误检等问题,严重影响系统性能。为解决以上问题,本文设计基于双模态博弈融合的目标识别算法,通过构建双模态图像数据库,针对不同场景分别建立博弈模型并求解,实现提升目标识别准确率和提高环境适应能力的目的。本文主要研究内容如下: (1)双模态图像数据库的构建及预处理 针对红外与可见光双模态图像数据库图像信噪比低、模态间配准精度不足以及样本多样性匮乏等问题,采用改进的IceNet网络进行低光照图像增强、改进的Retinex算法进行雨雪雾图像增强以及改进的自适应直方图均衡化算法进行红外图像增强,然后基于Unity3D模拟构建雨雪雾等复杂场景并使用DCGAN模型进行扩充,增加数据集的数量以及丰富其多样性特征,最后通过标注、划分建立双模态图像数据库,为后续图像融合与目标识别算法研究提供数据支撑。 (2)基于双模态博弈融合的目标识别算法 针对传统融合方法存在局限性,难以充分挖掘红外与可见光两类模态的互补特征,导致特征信息重复或丢失以及融合策略单一等问题,本文构建了一个具有完全信息的双模态博弈融合框架FGFusion,将生成器和双判别器作为博弈参与者,通过设计策略集并最小化支付函数,实现纳什均衡状态下的最优图像融合,同时,针对融合图像的特点设计改进的目标识别模型,分别在骨干网络、颈部以及头部进行改进。通过仿真实验,结果表明FGFusion模型可有效保持目标显著性和纹理清晰度,识别准确率达到94.3%;通过在实验平台进行实验验证,证明其实用价值。 (3)复杂场景下基于双模态博弈融合的目标识别算法 针对传统的决策级融合方法在低光照、雨雪雾等复杂场景下融合性能不稳定、容易陷入局部最优解以及对不确定性处理不足等问题,本文将双模态图像决策级融合问题表述为一个具有完全信息的动态非合作博弈模型GTFusion,将红外和可见光模态识别结果作为参与者,设计策略集并使用支付函数量化收益,通过动态调整策略和实施相对校准方法达到纳什均衡的状态,实现可适应环境变化和不确定性影响的最优决策融合。通过单、双模态下识别结果对比、与八种主流融合算法对比及消融实验,结果表明GTFusion模型能够适应复杂场景的影响且支付函数降低90%;目标识别准确率提高,得到的融合图像细节清晰且包含丰富的信息;通过在实验平台进行实验验证,证明其有效性和实用性。