基于计算机视觉、利用NVIDIATAO工具包与YOLOv8实现印度智慧城市场景下骑行人员未佩戴头盔违规检测与车辆识别

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID计算机视觉研究院学习群扫码在主页获取加入方式https://pmc.ncbi.nlm.nih.gov/articles/PMC12321817/pdf/frai-08-1582257.pdf计算机视觉研究院专栏Column of Computer Vision Institute在印度道路交通状况中两轮机动车交通违法现象十分普遍。此类违法行为不仅会使违法者自身陷入危险也会危及其他出行人员的安全。两轮机动车交通违法形式多样包括超载、三人共乘、不佩戴安全头盔等。这些违法行为对公共安全构成严重威胁因此需要行之有效的识别与执法手段。传统交通监测与执法手段存在不足亟需基于先进技术的解决方案。近年来基于深度学习的系统在识别和制止此类违法行为方面展现出巨大潜力。PART/1概述本文提出一种两阶段深度学习方法结合预训练目标检测模型的优势实现两轮机动车骑行人员检测并通过专用头盔分类器判断头盔佩戴状态同时识别车牌。第一阶段采用NVIDIA推出的高效、鲁棒且精准的目标检测框架DetectNet模型1该框架基于迁移学习工具包TAO训练、适配、优化以ResNet18卷积神经网络CNN为基础架构。第二阶段需要对已识别出的骑行人员进行头盔精准检测并利用光学字符识别OCR模块实时提取违法人员的车牌号码。本研究采用YOLOv8模型2这一深度学习架构该架构已在多项实时目标检测任务中验证了有效性。YOLOv8通过单一神经网络完成图像中目标的边界框预测与类别概率输出非常适用于骑行人员未佩戴头盔违法检测、车牌处理等实时应用场景。由于公开交通数据集匮乏本研究自建了包含复杂场景下摩托车骑行人员图像的自定义数据集用于模型训练与验证。实验结果表明所提出的两阶段模型取得了优异性能未佩戴头盔人员的头盔检测准确率达98.56%车牌检测准确率达97.6%。本研究的主要目标是通过实时执法严格落实交通法规减少骑行人员不佩戴头盔的违法行为。PART/2背景在印度道路场景中交通违法率居高不下尤其是两轮机动车的违法行为十分常见。这些违规行为不仅会危及骑行者自身也会对道路上其他出行者构成安全威胁。为解决这一问题亟需能够精准识别和分类各类两轮机动车交通违法行为的深度学习检测算法。在印度两轮机动车是最普及的交通方式占道路上所有车辆的78%以上。由于安全意识淡薄或缺乏安全意识骑行者频繁违反交通法规约29%的交通事故由其导致《印度道路交通事故报告》2022年。根据该报告共有74,897人在两轮机动车事故中丧生约占所有交通死亡人数的44.5%。两轮机动车在交通死亡事故中占比最高44.5%其次是行人19.5%和轿车、出租车、厢式货车等车辆12.5%如图1所示。导致大多数两轮机动车事故的主要因素之一是摩托车骑行者未佩戴头盔的疏忽行为这往往会造成头部损伤引发颅骨或脑部创伤Gopalakrishnan2012年。佩戴头盔的摩托车骑行者中有12%会遭受头部损伤而未佩戴头盔者的这一比例为20%Ravikumar2013年。若能建立一套针对摩托车骑行者的头盔法规执法系统将有效减少骑行者的死亡和受伤人数。在强制佩戴头盔的法规实施后佩戴头盔的人数有所增加Hagel等人2011年。在城市的每条道路和每个路口人工监控交通法规执行情况极具挑战性且容易出现疏漏。因此开发一套能够识别并通报交通违法行为的实时自动化系统至关重要。如今大量研究聚焦于移动物体的检测与分类这类技术广泛应用于人体动作捕捉和智能交通系统ITS等场景。交通监控与事故管理是智能交通系统的两大核心问题。不可否认许多交通事故是由粗心鲁莽的摩托车骑行者造成的。当下亟需一套利用计算机视觉检测未佩戴头盔的摩托车骑行者并依法对其进行处罚的自动化系统。如此一来交警便可减轻头盔违规行为的监控负担这也能降低因摩托车事故而近期急剧攀升的致死率Gopalakrishnan2012年。全球研究评估表明监控摄像头的部署使导致严重伤害的致命事故数量从40%降至11%Wilson等人2010年。因此开发一套利用安防摄像头自动识别未佩戴头盔的骑行者的自动化系统显然至关重要。本研究提出一种基于深度学习的方法用于识别两轮机动车的交通违法行为该方法采用了YOLOv8。这是一种先进的目标识别模型精度优异能够实时识别物体。基于深度学习的检测系统通过部署在高速公路关键点位的安防摄像头采集图像和视频利用神经网络进行分析。这些系统可识别和分类多种交通违法行为包括超速、逆向行驶、未佩戴头盔骑行和闯红灯等。在交通违法行为检测方面基于深度学习的检测系统相比传统技术具有诸多优势。这些算法精度极高能够识别出人工观测者可能遗漏的微小违规行为。此外这类系统可全天候不间断运行确保持续的道路监控。所有出行者都能从道路安全性提升和违法行为威慑效应中受益。为确定是否存在违规行为本系统首先检测图像或视频帧中的两轮机动车再分析其行为。如需采取进一步行动设备会记录车牌号码并追踪两轮机动车的行驶轨迹。本方案的两大功能模块为头盔目标检测和车牌识别。目标检测模块采用了性能优异的YOLO神经网络。在本研究中我们通过收集印度道路场景下两轮机动车交通违法行为的图片和视频构建了数据集。随后在数据中添加边界框和类别标签形成可用于训练YOLOv8模型的标注数据集。对数据集进行预处理以保证数据一致性并消除噪声。为确定是否存在违规行为本系统首先检测图像或视频帧中的两轮机动车再分析其行为。如需采取进一步行动设备会记录车牌号码并追踪两轮机动车的行驶轨迹。本方案的两大功能模块为头盔目标检测和车牌识别。该系统利用YOLOv8强大的目标检测能力可在图片、视频或实时场景中有效识别车牌。精准的车牌识别得益于光学字符识别OCR算法的应用该算法可从检测到的车牌中提取字母数字字符。通过结合YOLOv8和OCR系统对环境变化的适应能力更强在实际场景中的性能表现更优。本研究提出的YOLOv8模型为未佩戴头盔人员的头盔识别和车牌检测提供了极具前景的解决方案。我们的核心目标是通过自动化计算机视觉方法识别两轮机动车骑行者的头盔佩戴状态从而降低此类交通违法行为的发生频率。研究结果表明所提出的系统有助于交通部门对违反交通法规的人员采取相应措施。毫无疑问这一技术将有效规范驾驶员遵守交通法规的行为大幅减少持续监控交通违法行为所需的政府资源。本研究的创新贡献总结如下1.我们构建了一个多样化的数据集包含1,715张图像这些图像来源于在不同路口和交叉口、不同高度和角度、不同光照条件下使用摄像头拍摄的视频片段。2.我们实现了一套基于迁移学习的先进数据预处理流程该流程以ResNet18为基础的DetectNet_v2边界框回归器生成精准的两轮机动车边界表示。3.我们部署了YOLOv8模型2用于识别骑行者、检测头盔违规行为并从复杂交通场景中提取车辆信息。实验结果证明该模型在复杂视野交通环境下的多目标检测中效果显著。PART/3新框架解析开展骑行者头盔检测研究面临的主要挑战是缺乏公开可用的数据集。尽管我们探索了Kaggle和COCO等热门平台但在找到满足我们特定需求的图像时遇到了限制这些需求包括复杂的背景和多样的光照条件。我们面临的第一个挑战是收集合适的数据集用于训练头盔检测模型而我们通过构建自定义数据集成功克服了这一挑战。本节介绍自定义数据集的构建过程该数据集来自部署在道路、交叉口、交通信号灯处的监控摄像头采集于晴天、阴天、雨天的白天、黄昏和夜间光照条件下。我们提出了一个两阶段系统用于识别两轮机动车上的骑行者并检测未佩戴头盔的人员包括其车牌。在第一阶段我们采用DetectNet_v2作为模型1精准识别在街道和交叉口骑行自行车/踏板车的人员。该模型在生成的真实图像上进行训练以将骑行者与四轮机动车、自行车和行人等其他对象区分开确保即使在光照条件和车辆密度各异的复杂交通环境中也能实现精准检测。在识别出骑行者后第二阶段将YOLOv8作为模型2尤其用于头盔和车牌检测。当两轮机动车上有多名骑行者时该模型还会显示骑行者数量及其头盔佩戴状态。最后系统记录违规摩托车的车牌使执法部门能够采取必要的法律行动。图2展示了所提出的两阶段头盔违规检测系统流程图。下文将对所提出技术的各个方面进行说明。数据集收集、预处理和标注在深度学习研究中尤其是对于DetectNet和YOLOv8等目标识别模型成功的关键在于高质量数据的可用性。数据越多样、越广泛模型就越能泛化其认知并在未知环境中良好运行。数据收集过程始于从各种交通交叉口获取的视频片段中以不同视角和光照条件实地采集图像。从实时视频流中提取图像涉及以下关键阶段1.视频处理此步骤记录摄像头的实时视频流。2.帧识别提取上一步骤中的帧进行预处理然后输入深度学习模型。帧提取速率为每秒10帧FPS。3.不同高度和角度摄像头部署在不同高度10至15英尺和角度以精准呈现实际交通场景。此举旨在确保数据集能够包含各种真实的摄像头位置和视角。4.多样光照条件通过在一系列光照场景下收集数据我们确保数据集能够真实反映白天、夜间、阴天和雨天光照场景下交通场景的可见度和外观差异。为构建本研究的广泛数据集我们采用有效的合成技术从视频帧中生成独立图像从而创建图像。我们从这些视频帧中收集了1,585张图像并从在线COCO数据集中添加了另外130张图像最终形成了包含1,715张图像的数据集其中包含佩戴和未佩戴头盔的两轮机动车骑行者图像如表1所示。经过严格的清洗流程以确保数据质量和相关性后1,200张高质量的单人、双人佩戴和未佩戴头盔骑行者图像被添加到最终数据集中。如图3所示采集的图像代表了各种城市场景描绘了真实世界中的头盔使用案例。这些环境包括街道、交叉口和交通信号灯。我们的目标是在广泛的条件下采集数据以培养能够适应现实世界复杂性的模型。为使数据集多样化图像在晴天、阴天、雨天的白天、黄昏和夜间光照条件下拍摄。这确保模型能够处理可能影响头盔检测的光照和可见度变化如图3a、b所示。我们还在不同团队成员驾驶不同两轮机动车的情况下在不同道路和光照条件下合成生成图像如图3c所示。此外我们在具有多个物体的复杂背景和车辆相向行驶的位置采集图像如图3d所示。这有助于模型从周围环境中学习头盔目标提升在各种场景下的检测准确率。数据集预处理和标注有必要对数据集进行预处理以获取相关数据执行后续任务。为消除缺失物体、包含无关图片的帧、冗余数据等对数据集进行手动预处理筛选相关帧。这1,200张图像经过数据清洗和过滤以消除任何因光照不佳而导致信息不清晰的低质量或无关样本。预处理后选择1,107张包含骑行者的图像用于训练DetectNet_v2模型。同样总共识别出1,071张在不同光照条件下佩戴头盔、未佩戴头盔和混合状态的骑行者图像用于训练YOLOv8模型。使用LabelImg工具Labelimg2025年执行图像标注任务。在图像周围绘制边界框以分配四个不同的标签。一个名为“骑行者”的标签被分配给包含两轮机动车上人员的图像如图4a中的红色边界框所示。佩戴头盔的骑行者图像代表“H”标签并用红色边界框标记。同时“W”标签表示未佩戴头盔的骑行者并用蓝色边界框标记如图4b、d所示。图像中的两轮机动车车牌被标记为“NP”并用绿色边界框标记如图4b、c所示。为处理单张图像中发现的重叠摩托车骑行者事件对其进行适当描绘以提供全面的标注结果。图像的标注元数据首先保存为.xml文件PASCAL或VOC格式然后转换为KITTI文件格式。这通常提供图片中摩托车物体的位置和属性包括其标签和边界框xmin,ymin,xmax,ymax。训练成功后DetectNet将识别出的骑行者和两轮机动车的区域作为边界框坐标输出。这些数据用作下一阶段的输入。模型选择数据集准备完成后对DetectNet_v2进行训练以便从复杂的交通场景中实时、精准地定位两轮机动车骑行者。然后将这些骑行者信息发送到后续的YOLOv8模型以预测骑行者的头盔违规情况并根据处理后的车牌信息对摩托车骑行者进行处罚。基于DetectNet_v2模型1的骑行者定位在自动化监控与交通监测系统中从交通场景的其他车辆中识别并区分两轮机动车骑行者是一项关键挑战。为了在图片或视频流中实现快速、实时的目标定位与检测NVIDIA开发了DetectNet这一先进的目标识别框架。如图5所示它是TAO工具包的核心组件该工具包是一套旨在简化深度神经网络设计与优化流程的工具集。这里采用的卷积神经网络CNN以极高的效率和精度检测目标其构建基于深度学习的核心思想。将已学习到的特征从一个应用迁移到另一个应用的过程被称为“迁移学习”。我们使用针对目标检测任务微调过的预训练DetectNet模型并利用迁移学习技术通过任务专属数据对其进行优化。使用在一个任务上训练过的模型再对其进行重新训练以应用于另一个任务是一种常用的训练方法。DetectNet凭借其单阶段架构能够在单一网络运行中同时预测类别概率和目标边界框如图6所示。为了充分利用迁移学习来有效识别两轮机动车骑行者我们配置了NVIDIA预训练模型“TrafficCamNet”该模型是TAO工具包NVIDIA文档中心2025年的一部分。它以ResNet18为骨干网络基于谷歌开放图像数据集的一个子集11,000张两轮机动车图像进行训练专为交通场景理解而设计。该模型通过KITTI数据集的输入如格式为(xmin,ymin,xmax,ymax)的标签和边界框对预训练卷积层进行优化以识别城市交通场景中的摩托车和骑行者。检测头会适应两轮机动车骑行者独特的几何形态与外观而预训练的骨干网络则记录通用的交通目标信息。这种方法提升了准确率并加快了训练速度尤其是在使用我们这类小型自定义数据集时。图6展示了DetectNet_v2如何采用GridBox架构将输入划分为均匀网格并通过回归技术为每个类别预测置信度值cov和边界框bbox。这种GridBox方法确保每个网格单元都能识别目标并预测其空间边界和类别可能性。模型为每个预测的边界框分配一个置信度分数该分数同时考虑了目标存在的可能性及其分类结果。GridBox系统将输入图像划分为网格以预测四个归一化的边界框参数即“xc”“yc”“w”和“h”以及每个输出类别的置信度值。非极大值抑制NMS等后处理方法在模型输出经过缩放和偏移确定后用于生成最终的边界框和类别标签。通过仅保留每个观测目标置信度分数最高的框NMS有助于去除重叠框从而使类别标签和边界框既准确又唯一。该模型使用以下预训练参数进行测试1.输入图像宽× 高 × 通道数通常调整为 960 × 544 × 3宽 × 高 × 通道数。输入通道顺序批量大小 × 通道数 × 高 × 宽批量大小N设为 8训练轮次epochs设为 25。2.输出置信度分数浮点值、边界框坐标X、Y、宽度W、高度H和标签文本。图7展示了所提出的DetectNet_v2模型1两轮机动车骑行者检测系统的性能。骑行者检测由红色边界框上方的标签“0”表示见图7a两轮机动车骑行者及其置信度分数由红色边界框表示如图7b所示。我们提出的DetectNet_v2模型通过正确忽略货车和自动人力车等非骑行者以高置信度分数检测出真实的两轮机动车骑行者如图7b所示。该模型采用深度学习技术能够以高精度同时检测多名骑行者。这也是我们在检测流程中选择DetectNet作为模型1以实现比YOLOv8更精准的骑行者检测的原因。相关细节在4.3节的消融研究中提供。对于骑行者头盔和车牌检测我们优先选择YOLOv8作为模型2这是因为其处理功耗低且具备实时性能。正因如此我们的方法被称为两阶段检测系统。基于YOLOv8模型2的头盔和车牌定位与检测“你只看一次”YOLO或单阶段目标检测器SSD是一种先进的实时目标检测算法。它于2015年由Joseph Redmon、Santosh Divvala、Ross Girshick和Ali Farhadi提出Redmon等人2016年。YOLO的独特之处在于它将目标识别问题视为回归问题而非分类任务。对于涉及精准目标识别、分割和分类的任务该模型是目前使用中最全面的架构设计。我们采用YOLOv8系列中的YOLOv8n nano版本该版本在COCO数据集上进行了预训练该数据集包含来自不同场景的80个目标类别。该框架以DetectNet_v2生成的带有边界框值和标签的两轮机动车骑行者图像作为输入以精准检测骑行者及其头盔佩戴状态。最后通过YOLOv8架构内置的OCR车牌提取方法提取车主信息。图8展示了用于骑行者识别和三人骑行检测的YOLOv8架构。与两阶段检测器相比单阶段YOLO架构的准确率通常较为适中但它们的计算需求更低且能产生更高的帧率和检测速度。此外所有YOLO模型在架构上共享相同的结构具体如下输入马赛克数据增强在提升计算机视觉模型的功能方面发挥着至关重要的作用。首先通过马赛克增强对输入图像进行增强这种方法通过合并多张图像改变训练过程提升模型的泛化能力和鲁棒性。骨干网络骨干网络是特征提取的核心。它是一个预训练的卷积神经网络CNN可从输入图像中提取低、中、高级特征图。这是一种能够生成并存储各种形状和大小视觉特征的卷积神经网络。与传统方法不同它在单一卷积神经网络CNN中使用空间上不同的边界框并为每个检测到的目标分配一个概率。在CNN的语境下卷积是指将滤波器也称为卷积核在输入图像上滑动以生成特征图的过程。当滤波器在输入图像上滑动时它通过累加逐元素乘法的结果记录像素之间的空间关系。通常两个函数如t和g(t)的卷积可表示为(f g)(t)。YOLOv8 模型对空间上分离的边界框采用目标回归方法以实现出色的检测精度。输入图像首先被划分为N×N的网格单元例如 13×13、26×26 和 52×52每个单元的大小根据输入分辨率而变化。每个网格单元负责预测多个边界框及其对应的置信度分数。模型通过反卷积头预测每个检测到的目标的类别概率分布以及每个边界框的置信度分数即其包含目标的可能性。预测后非极大值抑制NMS被用于移除置信度较低的冗余边界框。最后交并比IoU指标公式 2被用于评估处理后的预测结果未佩戴头盔。它通过测量预测的骑手边界框与对应两轮车辆的重叠程度来确定观测目标之间的空间关联。如图 9a 所示当正确预测到佩戴头盔的摩托车骑手时YOLOv8 模型会在红色边界框上标注“标签 0”。类似地未佩戴头盔的骑手由粉色边界框上的“标签 1”表示其对应的车牌信息则由橙色边界框上的“标签 2”分配。准确的头盔违规预测、车牌检测和置信度分数的案例如图 9b 所示。这些结果表明所提出的方法能够区分帽子、围巾和头盔。测试中观察到的常见失败案例包括在低光照或遮挡条件下的漏检如图 9c 所示。当多名骑手彼此靠近时骑手定位会失效导致边界框重叠。一个更多样化、增强后的数据集尤其是覆盖夜景或拥堵交通等边缘场景的数据集有助于减少这些问题。车牌识别我们的最终目标是将训练好的自动车牌识别ANPR模型部署到实时违规检测中将其集成到自动骑手头盔违规检测系统中识别并转换恢复出的车牌上的每个字符并在界面上显示。如图10a 所示我们的系统在检测到头盔违规时提取车牌信息而在未检测到违规时则跳过车牌提取流程如图 10b 所示。这种集成方法简化了结果验证流程使用户能够及时处理交通违规行为。对于小目标检测如车牌多尺度训练、融合视频帧的时序信息以及使用更高分辨率的输入都可以提升模型的准确性和鲁棒性。PART/4基准测试与对比分析我们利用Google Colab 提供的免费云端 Jupyter Notebook 环境来训练和测试 DetectNet_v2 与 YOLOv8 模型。Google Colab 提供了强大的计算资源包括 GPU 和 TPU。我们引入了一种两阶段深度学习架构用于在真实交通环境中进行头盔检测。该方法摒弃了单一的整体式模型采用独立模块处理不同的检测任务。本节将深入探讨这一设计选择背后的原理及其优势。我们使用 Google Colab一个为深度学习应用提供 GPU 资源的云端平台训练和验证模型。通过这种方法我们可以利用 Google Colab 的处理能力高效地远程训练模型。在第一阶段我们使用包含 1,107 张图像886 张训练、221 张验证的数据集训练所提出的 DetectNet_v2 模型使其能够在交通场景中定位骑手。在第二阶段我们使用包含 1,071 张图像792 张训练、279 张验证的数据集训练所提出的 YOLOv8 模型使其能够识别佩戴/未佩戴头盔的骑手并提取其车牌信息。图11 展示了模型的训练和验证性能。训练时损失曲线通常会下降这表明模型在学习知识。验证损失曲线通常高于训练损失曲线这是机器学习中的常见现象表明模型可能对训练数据过拟合。训练集和验证集的精确率和召回率得分均超过 0.5这表明模型在识别视频中的骑行者方面具有很高的准确性。此外训练集和验证集的平均精度均值mAP指标均高于 0.5这为模型的出色性能提供了额外证据。曲线显示了我们的 DetectNet_v2 网络在学习识别视频中骑手方面的表现。总体而言DetectNet_v2模型 1在验证集上实现了 98.6% 的骑手预测准确率这有助于我们工作的第二阶段模型 2即准确的头盔定位和检测流程该流程将在下一节中详细说明。表 2 总结了预训练 TrafficCamNetDetectNet与我们微调后的 DetectNet_v2模型 1的性能对比。混淆矩阵用于展示所提模型在头盔和车牌检测任务上性能的混淆矩阵如表7 所述。混淆矩阵将数据的真实标签ground truth与模型做出的预测进行比较。每一行代表类别H, W, N而每一列代表模型的预测值。表7 中的这些值以混淆矩阵的形式呈现并在补充图 1 中进行了标注。下文将对该混淆矩阵进行说明。头盔H模型准确预测了 178 张佩戴头盔骑手的图像真阳性TP。在 2 个案例中骑手佩戴了头盔但模型预测其未佩戴假阴性FN。模型在 6 次预测中错误地判定存在头盔而实际上并未存在假阳性FP。有 22 张未佩戴头盔的图像被模型漏检真阴性TN。未佩戴头盔W模型准确预测了 97 张未佩戴头盔骑手的图像真阳性TP。在 2 个案例中模型在未存在头盔时预测了头盔存在假阳性FP。在 10 个案例中模型在未存在目标时正确识别了未佩戴头盔的骑手真阴性TN。有 8 张无人佩戴头盔的图像被模型漏检假阴性FN。车牌NP模型正确检测到 210 张包含车牌的图像真阳性TP。有 8 个实例中模型在未存在车牌时预测了车牌存在假阳性FP。模型漏检了 2 张存在车牌的图像真阴性TN。各类别检测性能在补充图2 的图表中进行了突出展示。我们提出的DetectNetYOLOv8模型与多种先进模型如基于 CNN 的方法和 Faster R-CNN 技术之间的骑手头盔检测精度对比在补充图 3 中展示。我们提出的模型头盔检测精度达到 0.9856表现优于其他先进模型。与基于 CNN 的模型和 Faster R-CNN 变体相比我们的模型展现出明显的提升其中 Faster R-CNNWaris et al., 2022的精度最接近为 0.9769。而传统 CNNVishnu et al., 2017; Dasgupta et al., 2019模型则明显滞后。这凸显了我们所提方法在检测和分类能力上的优越性。我们所提模型与Faster R-CNNWaris et al., 2022其结果具有可比性的额外性能指标总结在表 8 中。我们的模型在所有报告参数上均取得最高分数包括准确率98.56%、灵敏度98.9%、精确率98.89%和 F1 分数98.9%。这也表明其假阳性率2.02%显著更低意味着误报更少。总体而言结果显示所提方法在头盔和骑手检测任务中更加有效和可靠。PART/5挑战与未来方向实时交通违规检测系统中最具挑战性的问题之一是在复杂交通场景中准确识别两轮车骑手。基于深度学习的目标检测技术使得识别并处罚未佩戴头盔的骑行者成为可能。所提出的基于深度学习的DetectNet_v2 和 YOLOv8 两阶段模型完成了自动实时骑手定位、骑手头盔违规检测和车牌提取的任务。这种实时骑手头盔违规检测系统为提升道路安全和有效执行交通法规奠定了充满前景的基础。根据实验研究所提系统在不同光照条件、天气场景和夜间条件下分别实现了 98.56% 和 97.6% 的头盔和车牌检测准确率。在这些具有挑战性的场景中包括遮挡和拥挤情况漏检或误检是常见的测试失败情况这些问题可以通过使用时序视频数据、数据集增强、更高分辨率的相机输入和多尺度训练来避免。尽管我们自定义数据集中选定的 1,200 张图像具有多样性、标注规范且足以用于头盔检测二分类任务的微调但通过使用更多图像2k 至 5k可以进一步提升模型在实际部署中的鲁棒性。此外估计摩托车骑手的速度可以增强所提系统的功能。这可以通过逐帧目标跟踪与相机标定实现并通过卡尔曼滤波或光流等算法进行增强或者为获得更高精度可通过雷达或激光雷达等外部传感器实现。然而将该系统与最先进的边缘计算技术如 NVIDIA 边缘 AI 解决方案相结合可以进一步提升实时检测能力。该系统可以通过在边缘设备上部署模型以去中心化的方式运行从而降低延迟并消除与中央服务器持续通信的需求。有相关需求的你可以联系我们END转载请联系本公众号获得授权计算机视觉研究院学习群等你加入ABOUT计算机视觉研究院计算机视觉研究院主要涉及深度学习领域主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架提供论文一键下载并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程让大家真正体会摆脱理论的真实场景培养爱动手编程爱动脑思考的习惯往期推荐YOLO-TLA一种基于 YOLOv5 的高效轻量级小目标检测模型ViT-YOLO基于Transformer的用于目标检测的YOLO算法SSMA-YOLO一种轻量级的 YOLO 模型具备增强的特征提取与融合能力适用于无人机航拍的船舶图像检测LUD-YOLO一种用于无人机的新型轻量级目标检测网络Gold-YOLO基于聚合与分配机制的高效目标检测器Drone-YOLO一种有效的无人机图像目标检测「无人机AI」“空中城管”无人机AI光伏巡检自动化解决方案无人机视角下多类别船舶检测及数量统计机场项目解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题2PCNet昼夜无监督域自适应目标检测附原代码YOLO-S小目标检测的轻量级、精确的类YOLO网络大改Yolo框架 | 能源消耗极低的目标检测新框架附论文下载改进的检测算法用于高分辨率光学遥感图像目标检测