关键词： 计算机视觉   自然语言处理   视觉问答   特征融合   人工智能   文本形式   多模态   单模态  

摘要： 概述。早期人工智能领域的研究重点是计算机视觉和自然语言处理。这两个领域分别是以图像和文本为主的单模态研究对象,经过多年的发展,都有了丰富的研究成果。随着单模态的研究越发成熟,研究人员将研究重点转向了多模态的研究对象,视觉问答就是其中之一。视觉问答是以图像和文本形式的问题作为输入,首先分别采用计算机视觉和自然语言处理技术分别分析图像和文本得到相关特征,然后通过特征融合等技术从图像中提取与问题相关的信息,以文本形式输出答案。视觉问答任务主要是对图像进行理解和推理。

关键词： 移动机器人   视觉定位与建图   动态场景   目标检测   图像匹配  

摘要： 移动机器人可替代或辅助人类的生产和生活,并深入复杂或危险的环境,需随时感知周围场景。传统的ORB-SLAM2方法在动态场景中定位不准确,由此提出一种动态场景感知下的移动机器人视觉定位与建图方法。SLAM方法通过光学传感器采集环境信息完成建图,以ORB-SLAM2作为基本框架,在其跟踪线程中添加一个动态目标检测模块,该模块采用YOLOv4网络检测目标,使用的CSPDarknet53结构在减轻骨干网络权重的同时保持检测准确性;采用改进四叉树算法提取特征,并采用改进型形状上下文的图像匹配方法完成特征匹配。在TUM RGB-D数据集上进行实验,所提算法在walking_xyz场景序列的RMSE相对ORB-SLAM2算法增加97.6%,walking_rpy场景序列的RTE和RRE分别改进97.1%和96%。比较所提算法与ORB-SLAM2算法在高、低动态场景中的客观指标和估计轨迹误差,所提算法的RMSE、均值、中间值以及性能提升的改进百分比较优,所估计出的轨迹能够更好地拟合真实情况。

关键词： 结构化照明显微系统   卷积神经网络   超分辨显微成像   图像处理  

摘要： 结构光照明显微成像(SIM)技术是一种在超分辨显微成像领域极具代表性的技术。尽管结构光照明能够提升空间分辨率,但其在实现超分辨过程中需要采集多幅图像,而且,诸如样本厚度不一、结构光平移的系统误差及环境噪声等因素均可能会对SIM成像质量产生影响。为解决这些问题,神经网络技术被引入SIM图像处理中。目前,常用的算法模型有卷积神经网络(CNN)及其变体以及生成对抗网络(GAN),它们通过训练样本来分析和纠正上述系统误差,提高时间分辨率,实现快速超分辨成像。据查,目前尚未有文章对于基于深度学习算法的结构光照明显微技术进行综合分析。鉴于此,本文介绍了SIM的基础原理并分析了深度学习算法近年来在提高SIM系统性能方面的应用,并对SIM技术未来的发展方向和面临的挑战进行了前瞻性探讨。

关键词： 实验室   不安全行为   目标检测   属性识别   深度学习  

摘要： 人的不安全行为是高校实验室事故发生的主要原因,其中个人防护措施不当是最突出的表现。目前,大多数不安全行为检测方法主要用于建筑、工业场景,仅关注人员是否佩戴防护装备,而无法有效区分个人防护装备佩戴状态的完整性与有效性。本研究将防护装备佩戴状态进行更精细区分,提出一种基于目标检测与属性识别算法的两阶段人员不安全行为识别方法。第一阶段利用改进的YOLOv5-DETR-LPE实现实验室复杂背景和低质量图像条件下人员的精准检测,第二阶段利用基于EfficientNet-B3的属性识别算法实现对检测到的人员的不安全行为的识别。在自建数据集上,YOLOv5-DETR-LPE相较于YOLOv5n算法精确率和mAP50:95提高1.15%和5.11%,而模型参数量和计算量仅有小幅度增加。基于EfficientNet-B3的属性识别算法在3种属性的11类标签的识别中均保持较高精确率。最后设计并实现了识别与预警系统在实际环境中的部署,验证了该系统在实际场景中的有效性和可行性。

关键词： 经脉穴位   深度学习   关键点定位   图像处理   ResNet152  

摘要： 提出一种基于深度学习的人体手部穴位定位方法,实现完整手部经脉寻找、穴位定位的解决方案。选择以ResNet152作为骨干网络,采用热图回归法进行穴位的定位,并引入经脉进行穴位的寻找,从而提高穴位检测模型的精度;将U-Net网络加入模型排除不同背景对实验的影响,增强了模型的定位精度和适用范围;引入注意力机制来使得模型更加关注相关特征,增强网络对有效特征的学习能力;通过实际手部照片为输入,进行模型准确度验证。模型能够识别手部的6条经脉和11个常用穴位,数据集中图像的平均准确率为93.6%;在自采集照片验证实验中,平均准确率为88.5%。该网络模型在手部穴位定位中有较好的准确率,为开发按摩机器人提供理论依据。

关键词： 无纺布缺陷   目标检测   改进YOLOv3模型   K-Means  

摘要： 针对在无纺布表面缺陷检测中存在小缺陷目标漏检及识别率不高的问题,提出了一种改进YOLOv3的无纺布表面缺陷检测算法。首先在网络模型当中生成一个新的特征图层,来提取更多小缺陷目标的特征,其次引入K-Means++算法对聚类先验框中心点的提取进行改进,选取更为合适的Anchor Box,使定位更加精准,提高检测精度。最后,在自制的无纺布表面缺陷数据集上进行对比检测,研究结果表明:改进后的YOLOv3算法在测试集上的mAP值为85.83%,比原始的YOLOv3算法提高了6.99%,单张图片的平均检测时间为0.168s,与原始算法检测时间基本持平,检测性能也优于Faster R-CNN。

关键词： 计算机视觉   块石堆积   DeepLabV3   堵塞识别  

摘要： 溢洪道是水利工程中重要的泄水结构,保障其稳定地泄流对调节水库水位、保障挡水建筑物安全等具有重要意义。现阶段溢洪道检测自动化水平低、缺少专门的管理人员,发生堆积险情上报难以满足即时性要求。因此,利用计算机视觉技术建立了一种便捷、轻量化的溢洪道块石堆积检测方法。先通过室内试验模拟可能出现的块石堆积情况,建立一套图像采集系统拍摄不同形态块石造成的溢洪道泄槽堵塞;然后以常规DeepLabV3+模型为基础,将模型中backbone替换为Res Net50和Mobile NetV2网络结构。通过对比试验表明,修正后模型的分类准确率和平均交并比均有所提升。综合考虑模型性能和图像分割效率,最终采用Mobile Net V2网络结构作为改进的DeepLabV3+模型的backbone。试验结果表明,改进的DeepLab V3+模型的平均交并比较常规模型提升了12.61%,测试集中的平均图像分割时间为277.93 ms。研究所用方法能够为溢洪道自动化检测提供基础。

关键词： 计算机视觉   多目标跟踪   门控循环单元   礼让行人  

摘要： 近年来,计算机视觉在交通监控领域取得了显著进展,但判断机动车是否礼让行人仍然依赖大量人力操作。为解决这一问题,本研究提出了一种用于智能交通系统的自动检测车辆是否礼让行人的方法。该方法利用多目标跟踪算法,通过分析车辆的颜色、纹理等外观特征以及车牌ID,对摄像头视野内的相关元素进行运动轨迹跟踪。同时,结合门控循环单元(GRU)模型,预测行人的预警点及车辆前方的潜在危险区域,从而判断车辆是否执行了礼让行人的行为。为了验证该方法的有效性和优越性,本研究在使用无人机收集的模拟交通摄像头视角的交通街景视频数据集和结合交通模拟工具SUMO的Unity3D虚拟仿真场景生成的数据集上进行了广泛的实验。实验结果表明,与当前最先进的方法相比,该方法在处理速度上显著提升,满足实时识别的需求。此外,本方法在保持高准确性的同时,显著减少了ID切换次数,提高了对违规行为归因的精确性。由于其高效的处理速度和准确的检测能力,该方法在智能交通系统中的实际应用前景广阔,有助于增强交通安全,降低行人伤亡风险,并为交通管理部门提供可靠的数据支持和决策依据。

关键词： 图像处理   深度学习   YOLOv9模型   澳洲坚果  

摘要： 针对自然环境下果实重叠、相互遮挡和目标小的澳洲坚果果实检测准确率低的问题,提出一种改进YOLOv9模型的识别方法(YOLO-L)。首先,引入BiFormer注意力机制,该机制通过双层路由注意力机制实现了动态、查询感知的稀疏注意力分配,能够很好地捕获特征表征,增强网络对全局特征的关注度;其次,采用VoVGSCSP模块代替YOLOv9中的CBFuse模块,提高了复杂场景下小目标的检测效果;最后,将YOLOv9模型默认的损失函数替换成排斥损失函数,解决了果实排列密集和漏检的问题,进一步提升了澳洲坚果果实检测的平均精度。通过消融试验和对比试验来验证模型的有效性,发现YOLO-L模型的平均精度均值、精确率、召回率和F_1值分别达到96.2%、92.3%、88.2%和90.2%。与YOLOv9模型相比,YOLO-L模型的平均精度均值提升了4.9个百分点。总体而言,YOLO-L模型能够在自然环境下准确识别被遮挡、重叠的澳洲坚果果实,且检测精度高。研究结果可为澳洲坚果产业的智能采摘提供有效的技术支持。

关键词： 光伏电池片   丝印工艺   目标检测   图像处理   注意力机制   特征融合  

摘要： 目的在光伏电池片制作流程中,由于正负极电路的丝印缺陷具有目标小、分布不均匀等特征,目前检测仍然耗时耗力,因此提出基于优化YOLOv8算法的丝印缺陷检测方法,以解决光伏丝印电极缺陷难检测的问题。方法基于机器视觉理论搭建电池片图像采集平台,采集图像并对图像数据集进行标注划分,在批量变换处理增强数据集模型基础上进行YOLOv系列算法比对实验,表明YOLOv8算法更适合局部小目标缺陷的检测。接着将深度学习技术的洗牌注意力机制(Shuffle Attention,SA)引入YOLOv8算法中的注意力模块,有效提取特征信息,替换原特征融合模块,最后与原算法模型进行消融实验。结果缺陷识别精度提升了4.6百分点。结论优化后的算法能够提高缺陷识别精度,有效降低丝印产生的不良电池片进入后续工业流程的概率。