关键词： 目标检测   少样本学习   数据稀疏场景   区域建议网络   跨模态融合  

摘要： 在当前人工智能技术的浪潮中,预训练大模型凭借其强大的通用表征能力,成为推动智能制造、智慧金融、智能医疗等领域应用的核心引擎。然而,在工业质检、遥感监测、新材料研发等细分领域,企业常面临标注样本稀缺、场景分布碎片化、域间差异显著等问题,导致模型性能急剧下降。这些问题揭示了传统“大数据喂养”范式的局限性。因此,如何实现“小数据驱动、快速度泛化”已成为AI规模化落地的关键挑战。 少样本目标检测旨在通过少量标注数据实现预训练模型在未见类别上检测能力的泛化,但是当前少样本检测算法仍具有很大挑战。首先,少样本检测打破了传统场景中样本独立同分布的假设,已见类别与未见类别的类别空间互斥,导致区域建议网络在前景概念的理解上出现混淆,从而在场景切换时无法为未见类别给出准确预测。其次,在预训练模型向新场景迁移时,新场景样本极度稀疏,这不仅导致模型难以实现特征之间的有效泛化,还难以为新类别构建一个紧凑的嵌入空间。针对上述问题,本文对区域建议网络和主干网络进行了优化,主要包括以下三个方面: (1)动态前景分布对齐:针对已见类别和未见类别互斥的设定导致的前景概念混淆问题设计动态前景分布对齐模块,通过使用当前图像的全局信息动态推断前景的分布,从而使模型不再依赖于预训练模型所学习到的已见物体的前景原型,大大提升了区域建议网络在未见类别上的泛化能力;(2)跨模态特征融合:使用交叉注意力机制融合视觉特征与文本标签编码特征,通过图像与文本之间的语义共性,利用文本语义信息中包含的类间相关性促进基类特征到新类特征泛化,增强了新类视觉特征的表达能力;(3)语义原型对比损失:通过对比学习对齐视觉特征与标签语义原型,使得类内视觉特征向标签语义原型收敛,类间视觉特征相互远离,促进了新类视觉编码嵌入空间的紧凑性,进而提高了模型的辨识能力。 最后,本文通过使用Pascal VOC和MSCOCO目标检测数据集,模拟了不同设定下的数据稀疏场景,并使用提出的模型FDARCNN进行了一系列实验,结果与当前领域的经典算法进行了对比。实验结果表明,在数据稀疏的场景中,FDARCNN表现出良好的泛化能力。在数据极端稀疏的情况下,其检测精度相较于传统算法具有显著优势。

关键词： 织物手感   计算机视觉   视觉表征   感官测试   多模态融合   知识发现  

摘要： 织物手感评价是纺织品设计与质量控制的核心环节,传统方法依赖专家触觉评价或物理仪器测量(如KES系统),存在一致性差、效率低、成本高等瓶颈。针对上述问题,本研究提出基于计算机视觉的织物手感评价体系,通过织物视觉表征构建、特征提取、多模态融合建模与知识发现四个层次递进式创新,突破触觉依赖的评价范式,实现织物手感的智能、可解释化评价。论文以"视觉可感知的手感性能评价"为核心假设,围绕表面、压缩、弯曲、拉伸四类可视觉化的手感性能,构建“表表征证-特征提取-数据融合-方法集成”四位一体的理论框架,在101种织物样本上完成系统性证。本文主要贡献如下: (1)建立视觉表征与手感评价的关联性证框架。针对视觉评价的适用边界问题,提出基于信号检测理论的双面适用性测试模型,旨在证哪些手感性能可以通过视觉表征进行评价。通过真实触觉、静态图像、动态视频三模态评价场景的对比实证,构建四因素混合效应方差分析模型,对101个织物样本进行感官评价。通过混合效应分析和一致性指数(CCI)计算,结果表明表面、压缩、弯曲与拉伸性能在跨场景评价中表现出较高的一致性(CCI均大于0.74),尤其在动态视频中,弯曲和拉伸性能的光流轨迹与触觉评分显著相关(r=-0.67,p<0.001)。然而,热湿性能因视觉特征解释力不足(R2=0.18)且在视觉场景中的一致性较低(CCI=0.31)被排除。该研究首次通过统计模型界定视觉评价的适用性边界,为后续特征工程划定有效范围。 (2)构建多尺度视觉特征工程体系。针对视觉表征的量化难题,采用特征工程的思路,利用图像和视频处理技术提取反映手感性能的量化指标。针对101个样本,初步设计33个视觉特征,包括图像的表面特征(如粗糙度)、弯曲特征(如弯曲刚度)和悬垂特征(波形数)等。为确保特征的有效性和非冗余性,本研究引入方差膨胀因子和Lasso回归进行特征筛选,最终保留22个关键特征。这些特征与KES物理测量数据(粗糙度、压缩恢复率、弯曲刚度等)的一致性分析显示,平均绝对百分比误差低于2%,且与感官评分的相关系数均在0.79以上,证所提指标体系的物理可解释性和统计一致性。该体系突破传统图像特征的碎片化局限,建立具有物理可解释性的视觉指标库。 (3)设计多模态融合的端到端评价模型。为克服单一模态信息缺失问题,进一步提出一种多模态融合的端到端手感评价模型TAIL(Textile Attribute Integration and Learning),将上述22个数值型特征与图像、视频数据相结合,实现手感评价的全面建模。该模型通过动态时间规整对齐多模态特征,并采用注意力机制和时序卷积网络进行融合,针对回归任务(手感评分预测)、分类任务(风格分类)和决策任务(用途适配性推荐)进行联合训练。在101个样本的测试中,模型在回归任务重的均方误差(MSE)为0.258,分类任务的Micro-F1值为0.921,决策任务的准确率为92.3%,显著优于单模态和双模态基准模型(MSE=0.412,F1=0.823)。实证结果表明,多模态融合充分利用数值数据的量化能力、图像数据的静态细节和视频数据的动态信息,实现对手感性能的全方位表征。 (4)提出可解释性增强的知识发现模型。考虑到TAIL模型的可解释性不足,本研究提出一种基于知识发现的织物手感评价知识发现方法,结合层次分析法(AHP)与粗糙集理论(RST)构建混合模型。该模型首先通过AHP优化感官描述词权重(一致性比率CR≤0.1),然后利用RST进行属性约简和知识挖掘。在101个样本上提取155条IF-THEN解释性映射,如表Smooth(5)→Silk”,映射的置信度和覆盖度通过双目标Pareto优化得到均衡提升(调和均值提高18.7%),实证结果显示,模型的F1-score达0.91,决策准确率为87.3%,专家评价其可理解性(4.3/5)和逻辑合理性(4.6/5)均优于传统经证映射库(3.1/5)。这一方法不仅增强评价系统的透明性,还为面料选材和产品设计提供显示化决策支持。 (5)实现智能化评价软件系统。本研究将视觉特征提取、多模态融合模型(TAIL)和AHP-RST解释功能集成于织物手感评价软件系统,实现从多源数据输入到手感预测与解释输出的端到端智能化流程。系统通过数据输入模块处理图像、视频和感官评分,特征提取模块生成22个量化指标,预测模块输出评分、分类和推荐结果,解释模块提供显式映射,可视化模块增强交互性。系统的核心优势在于其自动化与高效性,用户只需上传织物样本的多模态数据,即可获得从量化评分到风格分类,再到用途推荐的全方位评价结果,同时通过可视化界面直观展示特征分布与决策依据。相较传统手动流程,系统效率显著提升,为纺织工业的质量控制与面料选材提供高效、透明的数字化工具。 综上所述,本论文

关键词： 目标检测网络   语义分割网络   特征提取  

摘要： 阐述一种基于计算机视觉的裂纹识别与几何特征提取方法。该方法通过整合高分辨率图像采集与数据增强技术构建样本库,采用YOLOv5目标检测网络定位标定块以校准像素尺度并校正图像畸变,结合U-Net++语义分割网络实现裂纹的像素级分割。

关键词： 火灾检测   RT-DETR   YOLOv11   轻量化网络   知识蒸馏  

摘要： 随着经济发展和城市化进程加快,我国火灾隐患日益复杂,事故频发,严重威胁人民生命财产安全。现有火灾目标检测算法在复杂环境中面临诸多挑战,难以兼顾高精度与实时性要求。为此,本文结合不同场景需求,针对地面摄像头拍摄图像和无人机航拍图像的火灾目标检测开展系统性研究。研究旨在提高火灾检测的准确性和灵敏度,从而有效减少火灾造成的损失。本文的研究工作如下: (1)鉴于现有公共火灾数据集存在数量不足和质量参差的问题,本文筛选相关数据集,结合网络获取的火灾图像及视频关键帧图像,构建了两个专用数据集:面向地面摄像头监测场景的GCFD数据集和面向无人机航拍场景的FRD数据集。本文提出的数据集可以有效评估算法在实际火灾检测应用场景中的性能表现。 (2)针对地面摄像头监测场景中存在的目标遮挡和类火干扰等问题,本文提出高精度的FDC-DETR检测算法。该算法基于RT-DETR框架进行多项改进:重构Fasternet＿Rep主干网络以降低计算复杂度;在AIFI模块引入可变形注意力机制增强火焰区域识别能力;改进CD-CCFM跨尺度特征融合模块提升多尺度特征表达能力,并采用WloUv3损失函数优化模型鲁棒性。实验结果表明,基于该算法训练的模型在GCFD数据集上达到89.3%的平均检测精度,较基准提高3.5%。 (3)针对无人机航拍场景中存在的目标尺寸小、背景复杂以及机载计算资源受限等问题,本文提出轻量化的LFD-YOLO实时检测算法。该算法基于YOLOv11框架进行多项改进:通过设计融合动态注意力机制的CStar Net轻量化主干网络优化特征提取;采用Dysample上采样算子和C3K2＿Ghost结构降低颈部网络计算复杂度;结合自研的GSDE检测头增强小目标特征捕捉能力,有效提升了算法在资源受限环境下的检测性能。在FRD数据集上的实验结果表明,基于该算法训练的模型,参数量和计算量分别压缩至4.4M和11.7G,较基准分别降低53.2%和45.1%,且保持了较高的检测精度。 (4)为提升模型实用性,本文采用知识蒸馏技术优化LFD-YOLO模型:通过自蒸馏获得LFD-YOLO＿KD模型以进一步提升模型检测精度,并通过跨模型蒸馏获得更轻量化的YOLOv11n＿KD模型以适应计算资源严重受限场景。在NVIDIA Jetson Orin NX边缘计算设备上的部署测试表明,量化加速优化后,两改进模型的推理速度分别达到了62FPS和83FPS,验证了模型在资源受限的边缘计算场景中具备良好的工程适用性。此外,本文基于FDC-DETR检测算法和ByteTrack多目标跟踪算法构建了火灾检测系统。该系统通过对多源数据的火焰目标进行精准识别与持续追踪,为灾害预警和应急决策提供了科学的数据支撑与技术保障。

关键词： 双目视觉   深度学习   目标检测   轻量化   生猪体尺测量  

摘要： 在畜牧业中,牲畜的体尺与体重参数是评估生长性能和繁殖能力的重要指标,直接影响饲养方案调整、饲料配方优化及品种选育。传统养殖依赖人工测量,不仅效率低、误差大,还会引发猪只应激反应。随着计算机技术的进步,机器视觉为非接触测量提供了新路。但是现有的问题如分割模型、点云处理、三维重建、关键点定位等存在显著弊端,如流程复杂、成本高昂、泛化性差,增加了模型调整与维护成本。在规模化养殖中,猪只数量多、环境复杂,这些方法难以快速适应,总体经济性与实用性受限。为此,本文以立体匹配算法和双目目标检测模型为基础提出了一种经济、高效的生猪体尺测量算法。具体研究内容如下: (1)改进了PSMNet的立体匹配网络。现有算法在生猪的深度估计中面对纹理缺失区域、遮挡边界以及光照变化等复杂场景下的视差估计精度仍有待提升,同时算法的时间复杂度和计算效率也面临着严峻挑战。基于改进PSMNet的立体匹配网络版本通过加入3D SE注意力块、使用转置卷积替代直接插值,优化了边缘细节和噪声处理,显著提升了匹配精度和鲁棒性。 (2)提出一种基于轻量级的YM-Net生猪目标检测算法。针对生猪的检测环境复杂多样,例如养殖场内光线变化大、背景杂乱以及遮挡问题(如其他生猪或饲养设备),同时考虑网络在实际部署中的实用性,提出了一种轻量级的目标检测算法YM-Net。该算法在保持高检测性能的同时,显著降低了计算复杂度和资源需求,从而在实用性和性能之间实现了良好的平衡。 (3)设计了一种基于深度估计和目标检测的生猪体尺测量方法。针对传统的人工方式测量以及基于现阶段基于深度学习的方式的复杂、部署应用环境、及泛化性的问题,提出一种端到端的、轻量化、应用场景广、性能优的生猪体尺测量方法。 最后通过深度估计和目标检测得到三维坐标后,给出了三种生猪体尺计算的方案:坐标投影、回归算法、比例缩放进行了实验,实验结论得出坐标投影最适合本文的生猪体尺的检测和测量,且体长、体宽和体高最好的均方根误差、平均绝对误差和平均相对误差为1.24cm、1cm和2.05%,完全满足资源受限的中小型养殖场对高效、精准、生猪体尺测量的需求。

关键词： 机器视觉技术   工业机器人   图像处理  

摘要： 阐述机器视觉技术的核心组成，分析工业机器人图像处理的关键方法，包括图像增强、特征提取和灰度变换等，探讨其在视觉引导、检测和测量等领域的应用，并展望机器视觉技术的发展趋势。

关键词： 多模态融合   气候感知   三维目标检测   激光雷达  

摘要： 随着自动驾驶、智能机器人等领域的快速发展,三维场景感知技术对高精度、鲁棒性强的3D目标检测需求日益迫切。近年来,深度学习与多传感器技术的进步使得基于图像和激光雷达点云的多模态数据融合成为可能:图像数据具备丰富的纹理语义信息,而点云数据则能提供精确的空间几何特征,二者的互补特性为突破单一模态检测瓶颈提供了新思路。 在自动驾驶环境感知系统中,复杂天气条件(浓雾、雨雪等)导致的传感器性能退化是制约系统可靠性的核心难题。本文提出一种面向恶劣天气的动态稀疏融合检测模型,通过多模态特征增强网络与气候感知融合模块的协同优化,实现点云-图像数据在不对称失真条件下的鲁棒融合。首先,构建基于几何特征增强与语义补偿的多模态预处理网络,抑制雾天激光雷达点云衰减和低光图像噪声;其次,设计气象自适应的动态门控机制,依据传感器熵动态调整融合权重,解决传统融合算法在极端天气下的模态冲突问题;实验基于Dense多模态数据集验证,该数据集覆盖雾、雪、雨等10,000公里真实驾驶场景,在能见度低于50米的极端条件下,目标检测平均精度(mAP)达到70.2%。研究表明,通过熵驱动的自适应融合策略可有效应对未见的传感器非对称失真。 为了支撑基于点云与图像融合的3D目标检测算法的研究验证工作,本文同步研发了一个目标检测算法的平台。该平台基于浏览器-服务器架构设计,前端使用Vue和WebGL技术构建了可视化界面,支持点云-图像同步加载、多视角渲染及传感器参数配置。用户可通过交互面板调整相机内外参矩阵,平台自动生成虚拟视点投影,直观呈现参数变化对多模态对齐的影响。后端采用Flask框架构建,处理完成后检测结果返回给前端,并通过三维包围盒的形式进行可视化展示。

关键词： 图像处理   复杂背景   输电线识别   深度学习   异物检测  

摘要： 输电线是输电线路中的关键构成要素,是无人机巡检工作的主要目标。输电线路大多架设于野外,长期处于复杂背景下,同时光照条件多变,此外输电线上的异物呈现多样。输电线识别技术可以辅助无人机航线偏差的校正,使无人机将注意力聚焦于输电线区域,异物检测技术能将附着在输电线上的异物检测出来。无论是输电线识别技术还是异物检测技术的研究,均面临检测精度欠佳的问题。传统图像处理方法难以有效应对复杂背景和光照变化,容易产生误检与漏检;基于深度学习图像处理的方法,数据获取和标注困难,模型复杂,难以准确快速地识别输电线和检测异物。本文以输电线为研究对象,采用图像处理技术,对传统图像处理和深度学习算法进行改进,提高了输电线识别和异物检测精度。通过实验验证,本文提出的改进方案提高了输电线识别和异物检测的精度,降低了误检率与漏检率,对电力系统的智能化运维具有重要的意义。本文的主要研究内容如下。 (1)针对输电线在复杂背景下识别精度不高的问题,对传统的输电线识别方法进行改进。首先对Canny算法进行了改进:将高斯滤波改为中值滤波,Sobel模板改为Scharr模板,手动选取阈值的方式改为Otsu法获取阈值,使边缘检测的结果更加清晰可见,且无需手动节阈值。然后为了实现对被遮挡输电线的拟合,又提出了优化的最小二乘法,即先对输电线的长度特征和空间位置进行聚类分析,再使用最小二乘法拟合。实验结果表明本文提出的方法在复杂背景下能将输电线准确识别出来。 (2)针对基于深度学习图像处理方法在输电线识别中精确度欠佳的问题,提出了一种改进的Deeplabv3+方法。首先,用Mobilenetv2替换Xception主干网络,提升模型的速率;其次,对空洞空间金字塔池化(ASPP)模块进行了优化,增加卷积分支的数量,对空洞率进行调整,更好的获取多尺度特征;然后引入SENet注意力机制,强化模型对重点区域的聚焦能力;最后,使用Focal loss函数代替交叉熵损失函数,有效地处理了数据集类别失衡这一问题。实验结果表明改进后的算法对输电线识别的精确度更高。 (3)针对输电线异物检测精度不高的问题,对YOLOv8算法进行了改进。首先,引入SKAttention注意力机制,实验结果表明mAP值有所提升;为进一步增强特征提取能力,使用渐近特征金字塔网络(AFPN)特征融合模块代替双向特征融合模块,mAP值进一步提升。实验结果表明改进后的算法能够更精准地检测到输电线上附着的异物。

关键词： 目标检测   遥感图像   大核网络   极化注意力机制  

摘要： 光学遥感图像目标检测能从数据海量的可见光遥感图像中自动定位与识别有价值目标。与远洋船等简单场景检测任务相比,港口船、机场飞机等复杂场景目标检测任务与真正的实际应用需求还存在一定的差距,受目标和背景因素制约:目标外观变化更为多样(尺度差异大、形状变化大、姿态旋转和分布密集等)和形似干扰物更为突出。本文聚焦于复杂环境下的遥感图像目标检测问题,以卷积神经网络等深度学习技术为核心支撑,开展相关研究,针对遥感目标尺度差异大与姿态旋转、目标形状差异大和关键特征难以提取等问题,对复杂场景光学遥感图像目标智能检测方法展开研究。 本文的主要工作和取得的创新点如下: (1)针对遥感图像目标检测时目标尺度差异大、目标受背景因素干扰和目标形状各异的问题,本文设计了基于大核选择和形状自适应的遥感图像目标检测算法。首先本方法通过大核选择网络(Large Multi Scale Kernel Net,LMKNet)来提取遥感目标的不同尺度的特征,从而动态调整感受野,更好的捕获遥感场景中目标的上下文信息。在训练阶段,设计一种面向遥感目标检测到形状自适应选择标签分配策略SATS(Shape-Adaptive Training Selection),SATS标签策略利用目标形状信息,并将目标形状信息集中在长宽比上,从而根据物体的形状信息和特征分布计算Io U最优阈值。在DOTA数据集、HRSC2016数据集和UCAS-AOD数据集上平均准确度(mAP)分别达到76.13%、96.34和97.80%。通过公开遥感目标检测数据集的测试结果表明,该方法比现有算法具有明显提升。 (2)针对遥感图像目标检测时会忽略细微差异的关键特征,以至于存在漏检问题,以及遥感图像目标的方向定位更倾向于旋转敏感特征,本文设计了基于极化注意力机制特征提取的遥感图像目标检测算法。为了突出有利于关键特征的判别信息,提出了一种极化注意力机制PAM(Polarization attention mechanism)来捕捉隐藏在特征通道中的远程空间相互作用和关键相关;之后,针对遥感图像目标难定位问题,将旋转卷积ARCNet(Adaptive Rotated Convolution Net)与变压器结构(即ARC-Former)相结合,以帮助在回归过程中编码旋转信息。通过公开遥感目标检测数据集和港口船检测数据集的测试结果表明,该方法比现有算法具有明显提升。在DOTA数据集和HRSC2016数据集上平均准确度(mAP)分别达到76.54%和96.77%。通过公开遥感目标检测数据集的测试结果表明,该方法比现有算法具有明显提升。 (3)复杂的遥感图像场景中精确识别并定位目标,如港口、舰船、飞机等。由于这些目标的形态、尺度、姿态等可能存在极大的差异,系统必须具备强大的特征提取和辨识能力。本章基于Py Qt5框架设计了一套遥感图像目标检测可视化系统。系统后端采用Python Flask框架搭建,并通过Docker容器化技术确保环境一致性。前端使用Jinja2模板引擎开发,支持响应式布局,核心功能包括动态模型切换、图片上传与预览等。通过RESTful API实现前后端数据交互,异步请求通过Fetch API处理。整体架构采用模块化设计,具备良好的扩展性,能够快速接入新的模型,并通过简洁的可视化界面提供流畅的用户体验,可根据输入图像的分辨率特征动态匹配最优检测网络,有效应对不同尺度遥感影像的处理需求。