关键词： 铁路施工场地   直升风筝   YOLOv5   监测   计算机视觉  

摘要： 为了解决传统固定摄像头在复杂施工环境中存在的视线遮挡和监测范围受限问题,本研究设计了一种基于直升风筝的空中视觉传感系统,该系统巧妙地融合了直升风筝、无线摄像头和云端通信平台,可实现从空中全方位地监控施工场地。为了验证系统的使用效果,首先,将该系统在施工场地实际运行并将拍摄的视频资料创建为一个鸟瞰视角的施工作业专用数据集;然后,在这个数据集上训练并测试YOLOv5模型。研究结果表明,系统具有很好的飞行稳定性与持久性,能够持续24h进行监控;使用收集到的视觉数据在YOLOv5验证集上进行了测试,准确率为96.23%,精确率为95.69%,召回率为99.54%,间接证明了使用该系统进行施工监测的可靠性。

关键词： 规划道路数据质检   计算机视觉   表格检测   大语言模型   字形相似性  

摘要： 规划道路数据作为工程测量的重要成果,是城市规划与审批的数据基础和根本保障。由于规划道路数据库分阶段搭建,许多数据成果无法及时准确入库,造成了数据库数据与路卷数据的不统一。而规划道路数据量庞大,人工质检费时费力且难以保证准确性,因此本文以计算机视觉和大模型等深度学习技术为基础,提出了规划道路数据的智能化质检方案。智能化质检方案通过U型卷积网络(U-Net)模型实现路卷影像中表格区域的检测,再结合人工先验知识完成表格结构的解析,最后基于飞桨光学字符识别(PaddleOCR)进行单元格字符的识别,实现表格影像的结构化与信息化。此外,本文创新性地引入大模型技术进行识别文本的相似性纠偏,进一步提高了识别正确率。通过实施验证,智能化质检方案节省了90%以上的质检时间,误识别率仅有0.27%,大幅提升了效率和准确性,证明本方法在规划道路质检中的有效性。

关键词： 双目视觉   目标检测   立体匹配   立体深度估计   目标定位   深度学习   注意力机制  

摘要： 通过机器视觉算法对目标进行识别并定位它的空间坐标是实现机械臂视觉抓取的关键。针对基于双目视觉的目标识别与定位中定位精度低、运行效率不高等问题,提出面向机械臂抓取的联合双目视觉目标检测与立体深度估计的网络结构BDS-YOLO(Binocular Detect and Stereo YOLO)及基于BDS-YOLO的目标定位算法。该算法联合目标检测与立体深度估计算法,利用注意力机制进行跨视图特征信息交互,从而提高特征表达能力,使网络可以通过深度特征匹配获得高质量视差图,再经过自注意力机制进一步提升后,由三角测量原理转换为深度信息。BDS-YOLO网络采用多任务学习,同时训练目标检测与立体深度估计网络,并使用合成与真实数据共同训练。针对真实数据不易标注密集深度的问题,采用自监督学习技术优化由视差重建图像的过程,以提高BDS-YOLO网络对现实世界的泛化能力。实验结果表明:BDS-YOLO网络在真实数据集上对目标检测的平均精度(AP)比YOLOv8l高6.5个百分点,预测的视差和转换后的深度优于专门的立体深度估计算法,推理速度可达20 frame/s以上,对目标对象的识别和定位均优于对比方法,能较好地满足目标实时检测与定位的需求。

关键词： 激光雷达   三维目标检测   FPGA   嵌入式   多传感器融合  

摘要： 随着智能驾驶、机器人等技术的高速发展,在这些场景下常规的二维检测算法并不能满足环境感知的要求,需要三维目标检测去获得精准的环境信息。但是,目前大多主流的多源数据融合的三维目标检测模型都依赖于高算力、高功耗的平台,难以在性能较低的嵌入式平台实现。针对这些问题提出了一种在低功耗的FPGA平台上实现多源融合的三维目标检测的方法,通过融合激光雷达点云与摄像头图像数据,来弥补点云特征信息的不足,以实现更高的准确率和检测的稳定性。同时结合FPGA平台的特点,对融合的特征进行筛选及处理,并结合量化策略对模型进行压缩。经过实验,融合方式明显提升小物体的准确度,量化后的模型在三维检测平均精度损失小于3%的情况下在端侧FPGA平台成功运行。

关键词： 大规模数据   计算机视觉   数据集   数据生成  

摘要： 大规模数据集是计算机视觉任务的基石。一个强大的计算机视觉系统不仅需要坚实的模型架构和学习算法,还依赖于全面且大规模的训练集。例如,ImageNet数据集极大地促进了计算机视觉技术的迅猛发展和性能的显著提升。然而,构建大规模视频图像数据集并持续提升图像/视频数据集的规模、质量是一项复杂而艰巨的任务,如ImageNet数据集的采集、标注、清洗与发布经由167个国家的近5万名工作者历时3年才完成的。除此之外,近年来对监控视频数据隐私敏感性和伦理问题的关注更使得这个问题雪上加霜,已有一些公开数据集因此下架。

关键词： STM32单片机   跟踪系统   运动目标   高动态场景  

摘要： 在高动态场景下,非刚性运动目标的形变是非均匀的。由于目标在运动过程中靠近固定端的部分形变相对较小,而边缘部分由于受到更大的气流冲击力,由于边界效应的存在,运动目标周围像素所提供的信息并不完整,这种特性使得仅依靠距离信息实现运动目标的跟踪定位,跟踪路径整体偏差较大。因此,基于STM32单片机,以某高动态场景为例,设计运动目标跟踪系统。选用STM32F407VGT6单片机、红外传感器作为系统核心硬件,在硬件设备的支撑下,采用红外传感器捕捉物体发出的红外辐射生成图像,利用直方图均衡化增强图像对比度以突出运动目标,运用Canny边缘检测算法提取目标的轮廓信息,从而准确反映目标的形状变化。结合STM32单片机的处理能力,对非刚性运动目标的持续识别与跟踪。利用神经网络优化识别决策,结合超声波并接收其反射回来的信号计算目标与传感器之间距离,采用匀速直线运动模型预测目标未来位置,实现目标的连续跟踪。

关键词： 道路杆件设施   目标检测   细长特征   可变形卷积   损失函数   轻量化   广义稀疏卷积  

摘要： 针对细长道路杆件设施的检测存在漏检、误检以及识别精度低、模型参数过多的问题,提出了一种基于YOLOv8s改进的YOLOv8s-DG算法。为改善杆件设施特征提取困难与背景信息复杂的问题,将可变形卷积融合到主干网络中;为降低低质量样本对网络的不良梯度影响,减小类别不平衡对检测精度的影响,损失函数使用WIoU_v3;为实现模型轻量化,在颈部网络中引入广义稀疏卷积。实验结果表明,改进算法的平均精度均值提升了3个百分点,模型参数下降约9.0%,运行速度达38.3 FPS。

关键词： 神经辐射场   同步定位与建图   多分辨率哈希网格   One⁃Blob编码   截断符号距离场   相机追踪   计算机视觉   神经网络  

摘要： 针对基于神经辐射场(NeRF)的同时定位与建图(SLAM)系统在室内大场景环境进行三维重建时出现重建效果逼真度低和相机追踪定位精度低的问题,文中提出一种基于坐标⁃参数编码的RGB⁃D SLAM算法。该算法通过多分辨率哈希网格和One⁃Blob表示场景,并提出一种新的射线采样策略。所提算法与该领域最常用的两种建图算法(iMAP和NICE⁃SLAM)进行对比。通过Replica数据集的实验结果显示,所提算法在重建质量方面表现优异。相比iMAP算法,在L_(1)深度误差、精度和完成度的指标上分别降低了62.5%、66.0%、59.0%,相比NICE⁃SLAM算法,以上三项指标分别降低了18.9%、17.1%、27.3%。在完成率上,所提算法相比iMAP提高了40.0%,相比NICE⁃SLAM提高了4.3%。在相机追踪的测试中,所提算法在ScanNet数据集上的绝对轨迹误差较iMAP和NICE⁃SLAM分别降低了75.3%和6.2%;在TUM RGB⁃D数据集上,所提算法与NICE⁃SLAM性能接近。实验结果证明了所提方法的有效性。

关键词： 输配电线路巡检   轻量化网络   目标检测   嵌入式架构  

摘要： 随着输配电线路规模的扩大及安全运行要求的提高,为解决传统巡检方式存在的效率低、成本高及安全隐患等问题,提出一种基于轻量化视觉检测与目标识别算法的输配电线路巡检图像识别方案。针对YOLO检测网络,设计并实现了基于MobileNet骨干网络的Mobile-YOLOv5模型,采用MPDIoU损失函数以及Soft-NMS进行优化,以提升模型检测精度与运算效率。该系统在mAP、运行速度和模型尺寸上均取得明显优势,为无人机等自动化巡检系统的实际应用提供了有力支持。

关键词： 目标检测   红外热图像   图像融合   置信度加权融合   牛眼测温   YOLOv8L  

摘要： 为解决牛养殖过程中测温不准、方法繁杂的难题,试验采用一种基于红外热图像和可见光图像融合的牛眼眼温检测方法(YDDT-Fusion方法),即使用以YOLOv8L模型为基础的网络模型,结合DWConv模块与DySample模块,对两种类型图像中的牛眼信息进行精准提取,随后通过置信度加权融合策略,综合利用两种类型图像的优点,提供更可靠的决策支持,最后结合图像中所提取出的温度矩阵信息,实现实时计算所检测牛只的温度信息。结果表明:YDDT-Fusion方法在牛眼检测融合后精确度为98.6%,平均精度值(mAP)为96.5%,比YOLOv8模型分别提高了4.5百分点和2.4百分点。最终通过从红外热图像中提取对应区域温度信息,并在图像中显示,所得温度值的误差为0.2~0.3℃。说明本研究提出的YDDT-Fusion方法基本实现了非接触式的牛眼温度精准检测功能,为牛体温自动化监测技术提供了新的思路。