关键词： 课堂行为分析   AVA数据集   目标跟踪   智慧教育  

摘要： 智慧教育开启了智能教学辅助与教育管理新纪元,本研究引入深度学习等前沿技术,设计和实现了基于课程流程的学生课堂行为分析评价系统,该系统从学生的课堂行为评估学生的课堂表现,旨在便于学校分析整体教学情况,调整教学安排,推动课堂教学质量的提升,同时为教师提供强有力的支持工具,助力其高效实施课堂管理工作。本文主要有以下创新点: (1)提出了一套高效的AVA格式数据集制作方案,在使用基于预训练模型半自动标注方法提高标注效率的同时,通过筛选最大检测框中心覆盖的方法解决了半自动标注方法带来的标注框抖动的问题,保证了AVA数据集的质量。并构建了总计127050张训练图像的九类学生课堂行为数据集(StuAct9),九种行为包含:低头、抬头、睡觉、玩手机、站立、喝水、举手、聊天及书写。并公开了相关处理脚本,为类似研究提供技术支持。 (2)设计了三阶段的学生课堂行为识别方案。在学生目标检测阶段,针对课堂学生遮挡严重导致的学生目标检测效果差的问题,通过在原YOLOv7的损失函数中引入排斥力损失项,优化了YOLOv7模型对学生检测的训练。在学生目标跟踪阶段,针对现有DeepSORT跟踪算法存在跟踪学生目标时ID频繁跳动的问题,本文提出了IOU跟踪累计定位算法,通过计算前后帧目标框的IOU(交并比),以此判断目标的关联性,当IOU值超过预先设定的阈值时,便将对应的目标框认定为同一目标,并以此为基础在每个目标框上增加存活属性,表征对应学生目标的持续可见性,增强跟踪的稳定性,并实现了学生座位的定位功能。在学生行为分类阶段,考虑到SlowFast网络结构存在局限性,基于其结构中的Slow路径与Fast路径关注的特征不同,采用SE机制将对应维度的特征进行挤压-激励分别提出了3DSCSE(空间-通道增强)和3DTSE(时间增强)模块,构建出SlowFast-TCS行为模型,增强了对空间-通道特征和时间特征的提取能力。 (3)为了进一步提升三阶段学生行为识别方案的整体推理速度,本文针对学生行为分类阶段,运用基于特征图的知识蒸馏技术,在对全连接层进行蒸馏的基础上,进一步针对SlowFast-TCS和SlowFast-R18双分支网络结构中最后两层的输出特征图开展蒸馏工作。将改进后的SlowFast-TCS模型轻量化到SlowFast-R18模型。 (4)设计并开发了学生课堂行为分析评价系统。按课程流程将系统划分为课前准备、上课签到、上课中、下课四个环节。针对各环节任务实现了对应功能,如学生信息管理、课前签到(人脸识别)出勤统计、实时行为评分、数据分析、数据可视化、上课结果导出等功能,这些功能不仅可以分析出班级的整体课堂情况,还可以分析出具体学生的课堂行为状态,便于教学管理部门了解各教室的学生听课情况,也辅助教师对课堂进行高效监督和管理。本文还提出了一套基于学生行为的评分策略,针对具体行为的评分增加额外判定条件,保证行为评分的公平性,最后将行为得分标准正态分布到设定范围的课堂评分上,体现学生之间的课堂差异性。

关键词： 度量学习   迁移学习   图像处理   故障诊断   齿轮箱  

摘要： 故障诊断是轴承障诊断领域的一个热点和难点。针对这一问题，文中以渥太华大学变速齿轮箱故障诊断平台为依托，应用一种图像处理技术和深度学习进行齿轮箱故障诊断的新方法。首先，借助图像识别算法，把原始的振动加速度信号转化为图样本的形式；之后采用了尺度不变特征变换(SIFT)算法，来捕捉图像中的特征点。针对这些特征点，进行向量化描述，构建了词袋模型(BoW),这一处理使得样本的特征得以充分提取和表达；然后，引入了局部最大均值差异，实现同一类别下相关子域概率分布的紧密对齐。最后，在网络训练时与其他方法相比，所构建的残差部分卷积(ResPConv)模型在恒定转速工况下具有较高的准确率，在时变负载工况下的数据下比其他四种方法具有更优的故障诊断识别率和更快的处理速度，具有很好的鲁棒性和更少的参数量。

关键词： 宫颈液基细胞   目标检测   轻量化模型   智能检测系统  

摘要： 宫颈癌在女性群体中具有较高的发病率,被世界卫生组织列为重点防治的妇科疾病。调查表明,人乳头瘤病毒的持续感染是该病症发展的主要致病因素。通过有效的早期筛查手段,能够显著降低该疾病的患病风险及致死概率。目前,宫颈液基细胞学检查是常用的筛查方法,它通过显微镜分析细胞图像来帮助早期诊断宫颈病变。但是,传统的人工阅片方法需要较长时间,容易受到医生经验的影响,效率低,且容易产生误差。因此,迫切需要开发更高效、准确的自动检测技术。近年来,基于深度学习的目标检测技术在医学图像分析中得到了广泛应用。但是,宫颈液基细胞图像中的细胞大小不一,形态差异微小、背景复杂,这使得现有的检测算法在实际应用中经常遇到精度低、模型庞大、计算复杂等问题。为解决这些问题,本研究提出基于深度学习的宫颈液基细胞自动检测方法,开发了多尺度高精度检测算法和轻量级高效检测算法,并成功实现了一个完整的智能检测系统,具体内容如下: 首先,本文提出了一种基于Cell-YOLOv8的多尺度宫颈液基细胞检测方法。该方法解决了宫颈液基细胞图像中尺度变化大、细胞特征细微差异的问题。为此,提出卷积注意力融合模块CAAM增强了网络的特征表达能力。同时,引入并重参数化内容感知上采样算子CARAFE,优化网络结构。此外,采用WIoUv3损失函数,有效平衡样本质量对模型训练的影响,提升了模型的鲁棒性和泛化能力。实验结果显示,在PQCC和Herlev两个公开数据集上,该方法能够显著提高宫颈液基细胞检测的精度,相比当前主流方法,性能有了显著提升,mAP@0.5达到了83.2%。这表明该方法具有较好的临床辅助诊断应用潜力。 其次,尽管Cell-YOLOv8模型具有较高的检测精度,但其模型较大,计算复杂度高,不适合在移动设备和边缘计算平台上快速部署。因此,本研究提出了一种轻量级模型VCell-YOLOv8。该模型采用高效的Vanilla Net结构作为主干网络,并结合双效通道注意力机制DECA,有效增强细胞图像的关键特征响应能力。还创新性地引入局部跨通道交互策略,进一步提升网络对细胞局部特征的捕捉能力。此外,为了解决目标检测中回归过程的梯度失衡问题,提出并采用PIoUv2损失函数。在减少模型参数量的同时,提升模型的训练稳定性和收敛效率。实验结果表明,VCell-YOLOv8模型能够在大幅减少计算量和模型规模的情况下,保持与Cell-YOLOv8相近的检测精度,更好地满足工业应用中实时性和适应性的需求。 最后,为了实现宫颈液基细胞检测方法的工业化应用,本文以VCell-YOLOv8算法为基础,设计并开发了一套完整的宫颈液基细胞图像检测系统。该系统集成了用户管理、数据标注、数据集划分和检测等核心功能,具备良好的易用性和友好的界面。系统能够自动识别并标记细胞类别和位置,帮助医疗人员快速定位病变细胞,从而提高诊断效率,减少人为失误和压力。实际测试表明,该系统不仅自动化程度高,运行稳定,而且能显著提高临床诊断的效率和准确性,具有良好的应用前景。

关键词： Swin Transformer   判别力增强模块   目标遮挡   小目标   复杂视觉场景  

摘要： 针对复杂道路环境下小目标密集、光照不均产生的遮挡问题，提出一种融合Swin Transformer和判别力增强模块网络(fusion Swin Transformer spatial attention module network, FSTS-Net)的目标检测算法。首先将Swin Transformer作为主干网络，构建全局信息捕获模块，增强对小目标及密集目标的检测；其次，针对光照不均导致的目标遮挡问题，设计了判别力增强模块(spatial attention module for discriminative feature enhancement, SAM),以增强目标特征的学习能力；最后，使用SIoU(structured intersection over union)作为模型的损失函数，提高了检测精度。实验结果表明，模型的平均精度均值(mean average precision,mAP)提高了2.82%,准确率提高了5.12%,召回率提高了7.61%,优于YOLOv8等其他常见的算法，能够有效解决复杂道路环境下的小目标和遮挡问题。

关键词： 无人机遥感   玉米   表型检测   语义分割   目标检测   多光谱  

摘要： 玉米是全球最重要的粮食作物之一,精准检测玉米的生长状态对农业生产管理有着重要意义。本研究结合深度学习算法与无人机遥感技术,围绕玉米倒伏区域识别、玉米雄蕊目标检测以及玉米生育期识别三个任务展开深入研究。主要工作如下: (1)提出了一种基于图像融合和改进PIDNet的玉米倒伏区域识别方法,将可见光RGB影像与DSM高度信息进行融合,达到两者优势互补的目的。选择基于高效多尺度注意力的三分支网络模型PIDNet,并融合EMA自注意力模块提高网络特征处理能力和针对不同生育期的倒伏识别能力,实现了吐丝期、乳熟期和腊熟期的玉米倒伏区域准确检测。通过实验验证,基于添加EMA模块的PIDNet模型的玉米倒伏检测精度优于U-Net、PSPNet、Deep Labv3+、UHRNet和标准PIDNet模型,通过分析对比实验证明了融合DSM高度信息和添加EMA模块对倒伏区域检测能力的提升,证明了改进模型拥有较强的倒伏区域识别能力。 (2)提出了一种基于改进YOLOv8s的玉米雄蕊目标检测方法,解决了玉米雄蕊在无人机影像中因形态不一、重叠遮挡和复杂背景等问题导致的检测难题。将YOLOv8s中的Backbone网络更换为Faster Net,有效减少网络模型的参数量和计算量,在保证玉米雄蕊检测精度的同时大幅提升了网络模型的检测速度;并添加SPD-Conv模块,减少模型对特征图信息丢失和加强对特征表示的学习。通过实验表明,改进后的YOLOv8s模型在雄蕊检测任务的表现明显优于YOLOv4、YOLOv5和YOLOv7目标检测网络,而且改进后的网络达到的精度较原始模型有较大提升,在各种检测难题上也有了不同程度的解决。该方法为玉米生长监测、产量预估和人工辅助授粉决策提供了可靠的技术支持,对提升玉米育种与田间管理智能化水平具有重要应用价值。 (3)提出了一种基于植被指数与改进Swin-UNet网络的玉米生育期识别技术,通过采集玉米农田的多光谱遥感影像,利用多光谱各个波段计算生成各种植被指数图,将其分别与原始多光谱数据进行图像融合,增强植被特征的表征能力,并分析比较融合了不同植被指数的多波段影像在生育期识别上的表现,分析比较每种植被指数的优劣势;同时对Swin-UNet网络进行改进,将SENet模块添加到Swin-Unet的每个跳跃连接处,从而为网络的多尺度预测和分割提供了更精细的特征,最后通过实验验证,基于添加SENet模块的Swin-Unet模型的玉米生育期识别精度优于U-Net、PSPNet、Deep Labv3+、UHRNet和标准Swin-Unet模型,证明了改进模型对于玉米生育期准确识别的合理性。 本研究结合深度学习算法与无人机遥感技术,围绕玉米倒伏区域识别、玉米雄蕊目标检测和玉米生育期识别三个关键任务展开研究,分别提出了基于图像融合和改进PIDNet的玉米倒伏区域识别方法,基于改进YOLOv8s的玉米雄蕊目标检测方法,和基于植被指数与改进Swin-UNet网络的玉米生育期识别技术。研究结果表明,本文提出的方法能够高效、精准地提取玉米种植中关于倒伏、雄蕊和生育期等关键农情表型信息,为玉米种植的精准管理提供了技术支撑。

关键词： 目标检测   YOLOv8   扩散模型   自助行李托运  

摘要： 随着民航业的持续发展,民航每年接待的旅客量逐年上升。为了应对日益增长的客流量对行李托运系统带来的挑战,越来越多的机场引入了机场自助行李托运系统,以提升行李托运流程的可靠性与运行效率,优化旅客体验。然而,机场自助行李托运系统面临着行李堆叠现象识别成本高、行李丢失后缺少相关信息等问题。本文以目标检测算法为基础,提出了一种基于可见光图像的机场自助行李托运系统目标检测模块,以提升机场自助行李托运系统的可靠性与处理效率。主要研究工作与成果包括以下几个方面: (1)获取机场行李检测数据并构建机场行李目标检测算法。本文使用可见光摄像头,从真实行李安检环境与实验室仿真环境进行数据采集、清洗与标注。将采集到的行李图像划分为“托盘”、“行李箱”、“软包”、“纸箱”和“特殊种类行李”五个基础类和作为后续扩展类的“高尔夫球包”类,以验证算法的基本功能以及在类别扩展方面的有效性。本文以原始的YOLOv8模型为基准,通过引入注意力机制SCSA、修改非极大值抑制算法、修改损失函数为UIo U、修改上采样方法为CARAFE的方法对模型进行修改。实验结果表明,本文提出的算法模型在运行速度、运行精度上能够取得更好的平衡,验证了方法的可行性。 (2)针对训练后的目标检测模型存在的泛化性不足的问题,采用潜空间扩散模型LDM,结合混合精度训练与Deep Cache加速算法,使LDM的训练与生成速度有了明显提升。通过控制数据增强强度与生成数据占比,寻找最优的参数组合策略以尽可能发挥生成图像的优势。微调后的模型在少数类上的表现更佳,同时拥有了更好的泛化性。 (3)通过添加其他类别验证模型对类别扩充的适应能力,以验证模型对后续设备迭代的需求的应对能力。对微调后的行李目标检测算法进行量化,进一步提升模型的运行速度以满足模型的实际部署环境要求。将模型封装为可见光检测模块,通过对模型的预测结果进行后处理以实现行李颜色检测、异常情况识别等功能,构建数据返回接口并保存数据,以确保可见光检测模块可作为即插即用式的模块,与现有的行李托运系统进行融合。

关键词： 红外暗弱目标   YOLOv8n改进算法   U-Net嵌套网络   目标检测   深度学习   级联策略  

摘要： 红外探测设备因其强抗干扰性、良好隐蔽性和全天候工作能力,在空域监测、红外制导、反无人机侦察等实际应用领域具有重要的应用价值。然而,红外图像中暗弱目标因信噪比低、尺寸小、纹理特征弱,且背景复杂、噪声干扰显著等特点,传统算法存在检测精度低、虚警率高等问题,难以满足实际任务需求,红外暗弱目标检测技术成为当下研究的热点。近年来,基于深度学习的检测方法虽取得一定进展,但现有网络多面向如建筑、汽车、动植物等常规目标设计,对红外暗弱目标的针对性不足,导致特征提取不充分、特征信息利用率低、小目标易被深层网络淹没。对红外暗弱目标的检测通常被分为面目标识别和点目标检测两大类。面目标识别主要针对具备一些在图像中占据有一定的面积、模糊形状特征、对比度低、特征信息有限的目标;点目标检测则聚焦于尺寸极小、特征稀疏的目标,且通常淹没在复杂的背景噪声中,此外,由于面目标和点目标类型往往难以预先判定,单一的算法易导致漏检或虚警问题。因此,本文深入探讨了红外暗弱目标检测技术,重点研究基于改进Yolov8n的红外暗弱面目标识别分类算法与基于U-Net嵌套网络的弱小点目标检测算法,以及二者基于自适应级联策略的联合检测算法。 针对红外暗弱面目标,本文提出UT-YOLOv8n（Yolov8n based on UniRepLK Block and Triplet Attention）算法。首先,在YOLOv8n的特征融合网络输出端引入三重注意力机制,通过跨维度交互增强对目标区域的关注;其次,新增160×160分辨率的小目标检测层及检测头,融合浅层细节特征与深层语义信息;最后,在空间金字塔池化中结合大内核卷积模块,扩大感受野以捕捉目标的全局形状特征。实验表明,UT-YOLOv8n在自建数据集上的平均精度（mAP@0.5）达到95.9%,较原始YOLOv8n提升2.1%,同时浮点运算量仅增加至14.4 GFLOPs,检测速度满足实时性需求。在公开数据集SIRST上,其mAP@0.5为92.0%。 针对红外弱小点目标,本文提出TUNN（Three U-Net nested net）算法。该算法通过嵌套三个U-Net网络构建7层多尺度特征提取模块(（U-Net nested Modules,UNM）,结合通道与空间注意力机制实现浅层与深层特征的渐进融合;在特征金字塔融合部分引入内容引导注意力模块,增强目标细节特征;同时采用自适应阈值焦点损失函数,动态调整目标与背景的损失权重以缓解类别不平衡问题。实验结果显示,TUNN在NUDT数据集上的检测概率（Pd）为98.49%、虚警率（Fa）为6.33×10-6、交并比（IoU）为81.83%,在NUAA数据集上Pd为97.31%、Fa为5.67×10-6、IoU为73.45%,均优于现有算法。 针对任务目标类型的多样性,本文提出一种“特征量化-动态决策-单模型执行”的自适应检测级联策略算法,通过动态分析输入红外图像的轻量级特征,智能选择最优检测算法面目标识别或点目标检测算法,实现对不同类型目标的精准检测。 综上所述,本文对红外暗弱目标检测技术的国内外研究现状和对应的技术难点进行了归纳,同时对研究所涉及到的相关技术展开了介绍。通过分析红外暗弱目标的特性、现有深度学习网络结构的不足,针对暗弱目标传统算法的难点,本文提出了基于改进YOLOv8n的红外暗弱面目标检测识别算法（UT-YOLOv8）和基于U-Net嵌套网络的红外弱小点目标检测算法（TUNN）,以及面、点目标的自适应级联检测算法,通过实验验证了算法的有效性,并在某红外探测识别系统中实际应用,在复杂背景下自适应实现红外暗弱目标的高精度识别和弱小目标的高效检测。

关键词： 城市体检   老旧小区改造   住宅建筑   体检策略   目标检测  

摘要： 现阶段城市发展逐渐从增量扩张向着存量发展的模式转变,老旧住宅改造策略成为了重要的解决手段之一。2025年“两会”民生主题记者会中提出:将2000年以前建成的小区全面纳入改造更新范围。上世纪建成的老旧小区住宅在质量和功能方面存在的问题对居民的影响日益严重,包括墙体破损、防火隐患、电梯缺失、住宅适老化不足等诸多影响居民正常生活的建筑问题,为了更好地在老旧小区改造中解决这些“建筑病”,推动高质量的城市更新,评估老旧小区住宅建筑状况的体检评估工作成为了必然前提。同时,贯彻“无体检不更新”的工作思路,住宅体检对各老旧小区住宅评估而编制的体检评估报告,为明确城市老旧小区更新改造的重点起到“风向标”的重要作用。 文章分析了2023年国家住建部提出在各试点城市推动实施新一轮城市体检工作中住宅维度体检的指标要求,从试行的住宅、社区、街区、城区的“体检”标准(附录一)为参考,结合参与住宅维度体检工作经验的基础上,聚焦住宅维度体检工作的不足,在青岛市入选国家城市体检试点城市的背景下,以青岛市2023年度住宅体检过程中的体检效率、体检成果为研究点,总结其中亟待解决的痛点,从人工智能技术能够解决大量性、重复性工作的特点,深挖其背后的技术支撑,选择目标检测技术实现住宅体检维度建筑信息检测精度和检测速度的研究策略,同时程序自动基于住宅体检内容给出老旧小区住宅的改造更新意见,文章研究主要工作包含以下内容: 本文共划分为六个章节,第一章主要内容是对当前城市体检和目标检测技术应用的发展背景进行了介绍,并从研究出发点探讨了运用目标检测技术进行老旧住宅体检的目的,同时归纳总结了研究方法和实现研究目的的技术路线;第二章进行了研究理论和技术的概念界定,总结和分析了城市体检的概念与实施工作流程,并介绍了目标检测技术的概念、模型逻辑、数据集建立工具等内容,为后续研究提供理论和技术基础;第三章,先对老旧小区进行住宅体检调研,了解老旧小区现状和住宅体检的工作量,然后以青岛市住宅体检为研究案例,先概括了青岛市改革开放至2000年期间存在的住宅状况,从工作部署的分析总结了青岛市住宅体检的工作中的体检检测精度、效率不足和成本投入等问题;第四章,针对前一章节存在的问题和不足提出了基于目标检测的住宅体检策略和改造更新意见策略,2023年度体检指标进行分析,并依据指标采集住宅信息,人工建立住宅建筑体检数据集,运用目标检测模型进行建筑问题识别训练。针对改造更新意见策略建立了老旧住宅建筑改造数据库,并将该功能其融合至目标检测模型中,实现检测出建筑问题后生成建筑改造的意见的住宅体检策略;第五章为住宅体检策略验证,选取某社区的老旧住宅建筑,从采集建筑信息、建筑内容检测、建筑问题统计、给出改造意见、进行建筑改造等进行策略验证;第六章内容为总结研究方法的不足以及待改进的内容,并对未来实现高质量的城市住宅体检和建筑改造方法提出展望。

关键词： 分布式雷达   目标检测   信号级融合检测  

摘要： 分布式雷达系统中是一种通过在空间中分布的各节点进行目标联合探测的系统,其核心思路是利用空间分集增益增强目标有效探测距离,提高雷达系统的检测性能和抗干扰能力。相对于传统的单节点雷达系统,分布式多雷达系统拥有更好的目标检测性能和更好的环境适应性,因此对于分布式雷达系统的技术研究已经成为雷达系统的重要发展方向之一,而信号级融合算法是决定分布式雷达系统检测性能的关键,因此对于分布式多平台信号级融合算法的研究是很有必要的。本文以信号级融合算法为核心,围绕空间配准和非理想因素下的算法优化等方面展开研究,主要的研究工作包括以下方面: (1)针对多节点雷达系统难以匹配目标在各路径上信息的问题,本文提出一种基于栅格空间匹配的信号级融合检测算法,并该算法通过将警戒空间划分成紧密的栅格以完成目标在各路径上的关联匹配,从而提高分布式雷达系统的目标检测性能,并实现了目标的检测定位一体化。 (2)针对雷达系统面对的各种非理想条件展开研究,对不同非理想条件下的信号级融合检测算法进行优化。本文主要研究了系统数据传输率约束、各路径信噪比(Signal-to-Noise Ratio,SNR)差异以及系统误差导致目标空间失配等因素对系统检测性能的影响,并给出了相应的优化算法以保证系统在对应条件下能保持良好的目标检测性能,提升了信号级融合检测算法在复杂环境下的适用性。 (3)针对多目标检测的场景下,目标信息互相干扰产生虚假目标的问题,提出了两种多目标信号级融合检测的鬼影剔除方法。空域栅格法通过循环检测剔除不同的目标信息,空间-多普勒二维栅格法通过二维目标信息匹配避免不同目标之间的信息干扰,从而实现鬼影剔除。最后通过仿真验证了算法的性能,并证明空间-多普勒二维栅格法拥有更好的鬼影剔除能力。 上述中信号级融合算法均以通过仿真数据或者实测数据进行验证,结果表明本文提出的算法能有效实现目标检测性能的提升,完成复杂环境下的信号级目标融合检测的任务。