关键词： 大语言模型   室内三维目标检测   开放词汇   上下文信息   思维链  

摘要： 现有室内三维目标检测算法能检测的目标类别通常有限,这限制其在智能机器人领域的应用。开放词汇目标检测能在不定义目标类别的前提下检测给定场景的所有感兴趣目标,从而解决室内三维目标检测的不足。与此同时,大语言模型的先验知识能显著提升视觉任务的性能。然而现有的开放词汇室内三维目标检测研究存在仅关注目标信息,而忽视了上下文信息的问题。室内三维目标检测的输入数据主要是点云,存在稀疏和噪声问题。仅依赖目标点云信息会对三维目标检测结果产生负面影响。上下文信息包含场景描述,能对目标信息进行补充,从而提升目标检测中类别判定的准确率。为此,本文提出了基于上下文信息和大语言模型的开放词汇室内三维目标检测算法,该算法通过结合上下文信息和大语言模型的思维链推理获取检测结果。此外,该算法在SUN RGB-D和ScanNetV2数据集上进行了验证,实验结果表明了其有效性。

关键词： 有孔虫化石   深度学习   目标检测   FocalNet网络   YOLO模型   Transformer架构  

摘要： 有孔虫化石的属级鉴定在地层划分与对比、古环境和古气候重建等方面具有重要应用,其传统分类依赖工作人员经验,成本高、周期长、工作量大,为此本文提出了一种基于深度学习的有孔虫目标检测方法:焦点调制主干网络FocalNet-YOLO。该方法以YOLOv5网络为基础,结合焦点网络(FocalNet)的焦点调制思想,使用焦点调制(focal modulation)作为转换器(transformer)网络内部令牌(token),优化YOLO网络结构,提高了目标检测精确度与召回率等评价指标。实验结果表明:该算法可以检测出21个有孔虫属且全类平均准确率达到99.6%,召回率达到99.8%,模型大小减小22.2%,一帧推理时间为28.1毫秒;该方法有助于有孔虫化石迅速确定属名,有助于迅速检测样本地质年代,具有潜在的应用价值。

关键词： 线阵相机   计算机视觉   目标检测  

摘要： 针对传统敞车车厢人工巡检效率低、漏检率高等问题,文章设计了一种基于计算机视觉的自动化破损检测系统,用以提升检测精度与效率,保障铁路运输安全。系统采用YOLOv5深度学习模型作为核心检测算法,结合图像预处理与数据增强技术,构建包含5000张车厢图像的数据集(含3000张破损标注)。通过边缘检测与多尺度特征融合优化小目标识别能力,硬件配置2 K分辨率工业相机与GPU加速推理模块。试验表明,系统对车厢典型破损现象的检测准确率达95%,平均单帧处理时间200 ms。在3路摄像头并行处理场景下,系统可实现每秒6帧的综合处理能力,较传统人工巡检效率提升12倍以上。系统通过深度学习与硬件协同优化,实现了敞车车厢破损的高效精准检测,具备工程应用价值。未来可进一步扩展多模态传感器融合与轻量化模型部署,适应复杂环境下的检测需求。

关键词： 人工智能   自然语言处理   计算机视觉   大模型   智能高铁  

摘要： 人工智能技术的快速发展及在各个行业日益广泛的应用,为铁路行业大模型的研制和应用提供了坚实的技术基础。中国铁道科学研究院集团有限公司结合自身定位和优势,以铁路人工智能平台为依托,以数据、算法、算力为核心,通过汇集铁路各专业高质量样本数据,构建铁路人工智能样本库,开展适用于铁路行业的人工智能大模型技术研究,构建铁路人工智能大模型,包含铁路自然语言大模型与铁路计算机视觉大模型,形成铁路专业知识问答、文档撰写、摘要生成、文本润色以及铁路场景下万物分割、目标检测等功能,支撑智能高铁体系下智能装备、智能建造、智能运维等场景的诸多人工智能应用,推动铁路人工智能在各业务领域的深度渗透与广泛应用。展望未来,将持续丰富和完善铁路人工智能样本库,借鉴前期示范应用的成果与经验,对铁路自然语言大模型和计算机视觉大模型进行持续优化与迭代升级,构建面向铁路行业更成熟通用的铁路行业大模型,有力支撑智能铁路发展,助力建设世界一流铁路企业。

关键词： 深度学习   目标检测   剪枝   模型压缩   轻量化  

摘要： 道路损伤检测在道路维护过程中至关重要,针对目前的道路损伤检测依赖于大型车载检测设备导致其成本过高且普适性差的问题,提出了一种应用于边缘设备的超轻量化路面裂纹检测模型。首先构建轻量化的道路损伤检测网络,在此基础上基于特征映射贡献度剪枝策略,删除网络中的冗余参数,保证在边缘设备中进行实时监测的同时不降低检测精度。通过实验对提出的模型进行了验证,结果表明本文所提出的模型大小仅有2.06 M,在帧率40的情况下准确率达到了68.6%,相较于原始的YOLOv5s模型,在准确率仅降低3.4%的情况下,参数量降低了70.8%,在边缘平台推理延时降低175 ms。综上所述,所提出的模型在能够更有效地检测道路特征的同时,可以保持高水平的准确性,对于道路损伤检测具有良好的鲁棒性。

关键词： 目标检测   低照度图像   YOLOv8   轻量化   ExDark  

摘要： 阐述一种面向轻量化设备的夜间目标检测模型YOLO-GloLite。通过设计CPDarkNet骨干网络,将其用作检测网络的主干结构。新构建的主干网络旨在获取更多的语义信息,进而提升检测精度。

关键词： 交通环境感知   多任务学习   目标检测   图像分割   正交注意力  

摘要： 自动驾驶场景中的协同多任务感知算法设计目前仍颇具挑战,针对此提出一种深度卷积神经网络算法MTEPN,用于同时完成车辆目标检测、可行驶路面区域提取和车道线分割三项视觉任务.首先采用CSPDarkNet网络提取交通场景图像的基础特征;其次设计了特征聚合模块C2f-K来获得更具细粒度的全局图像特征;随后提出正交注意力HWAttention降低计算量并增强空间尺度图像特征;并引进跨任务信息聚合模块CFAS实现任务间互补模式信息的融合;最后通过解耦的任务头模块来实现这三个感知目标.在BDD100k公开数据集上的实验结果表明,所提算法的平均目标检测精度mAP和可行驶区域提取的像素平均交并比mIOU分别为79.4%和92.4%,均超越同参数规模的主流多任务感知算法,车道线分割精度IoU为次优值27.2%,模型参数量仅为7.9M,单帧图像处理时间仅为24.3 ms,具有较好的综合性能.相关代码将在https://***/XMUT-Vsion-Lab/MTEPN公开.

关键词： 交通管理   状态监测   卷积神经网络   目标检测   多尺度  

摘要： 针对现有高速公路运行监测时无法实现广域检测且小目标检测性能较低的问题,提出了一种基于遥感技术的高速公路交通运行状态监测模型。设计一种改进的卷积神经网络(convolutional neural network,CNN)网络,以多尺度特征图和多尺度上下文信息增强小目标检测性能。仿真结果表明,与快速区域卷积神经网络(faster-region based convolutional neural network,Faster-RCNN)和YOLOX(you only look once version X)相比较,所提模型具备多尺度融合特征以及多尺度上下文信息,可充分学习小目标特征,准确率(accuracy,ACC)和精度(precision,PRE)指标分别为93.57%和89.44%。

关键词： 单目视觉   深度估计   拉普拉斯金字塔   LapNet   无人机巡检  

摘要： 在对超、特高压输电线路开展无人机巡检时,无人机能靠近输电线路,但距离过近会增加飞行干扰甚至发生碰撞,因此准确获取无人机与输电线之间的距离至关重要。针对这一问题,提出融合拉普拉斯残差的深度估计网络LapNet(Laplace net),以U-Net作为网络的基础架构,构建多尺度特征金字塔,提出LUB(Laplace UBlock)模块,替换U-Net的普通卷积层;在LUB模块中引入拉普拉斯金字塔残差结构,增加网络深度的同时保留深度特征中的高频信息,从而引导重建高质量的深度图像,实现单目距离的精确测量。实际测试结果表明,利用无人机单目镜头开展距离检测的平均误差为4.786%,最大误差为8.36%,能够实现无人机镜头与输电线路之间距离的精确测量。

关键词： 视觉-语言预训练模型   Faster R-CNN   开集目标检测   交通目标检测  

摘要： 交通目标检测是智慧交通系统的重要组成部分,但现有的交通目标检测算法只能实现对于预设目标的检测,无法应对开集目标场景。为此,提出一种基于视觉-语言预训练(VLP)模型的开集交通目标检测算法。首先,基于Faster R-CNN修改预测网络使其能够适应开集目标的定位问题,并将损失函数改进为交并比(IoU)损失,有效提升定位精度;其次,构建一种新的基于VLP的标签匹配网络(VLP-LMN),对预测框进行标签匹配,VLP模型作为一个强大的知识库,可有效匹配区域图像和标签文本,同时,VLP-LMN的提示工程和微调网络模块可以更好地发掘出VLP模型的性能,有效提高VLP模型标签匹配的准确性。实验结果表明,该算法在PASCAL VOC07+12数据集上实现了60.3%的新类目标检测平均准确率,这证明了其具有良好的开集目标检测性能;同时在交通数据集上的新类目标检测平均准确率达到了58.9%,作为零样本检测,仅比基类目标低14.5%,证明了该算法在交通目标检测上具有良好的泛化能力。