visdrone数据集和flir数据集介绍和训练

VisDrone 数据集和 FLIR 数据集介绍和训练 VisDrone 数据集是当前最大的无人机目标检测数据集之一，由 263 个视频片段和 10209 幅静态图像组成，涵盖不同位置、环境、对象以及密度等方面。该数据集能够对视觉分析算法进行广泛的评估和研究，具有很高的泛化性和代表性。 VisDrone 数据集的特点是场景中目标数量较多、目标密集，其数据分布如图 2-5 所示。图 2-5 VisDrone 数据集每张图片目标数与对应的百分占比由上图可知，VisDrone 数据集每张图片的目标数集中在 1~126，因此，检测算法能否在密集场景准确检测目标是一个不小的考验。 VisDrone 数据集内容由三部分组成，分别为：训练集、评估集、测试集。以训练集为例，其包含的目标类别其数目如图 2-6 所示。图 2-6 VisDrone 训练集各类别分布该数据集主要集中在行人和小汽车，由于本文主要针对航拍行人目标进行检测，故而需要对数据集进行预处理，即只保留“行人”类的标签，训练测试时只针对“行人”的检测进行测试验证。 为了使训练的模型更加适合航拍场景，需要针对航拍目标进行 K-Means 聚类分析，以生成适合航拍目标的锚(anchor)。根据上文提到的方法，再进行数据提取及聚类分析，整个预处理步骤可总结如下：步骤一：将 txt 格式标注文件转换为包含语义信息的 xml 格式；步骤二：从 xml 格式的文件中提取“行人”标签，并将其它标注类删除；步骤三：将 xml 标注文件转化成 YOLO 需要的标注格式；步骤四：由 K-Means 聚类算法计算用于 YOLO 模型训练的锚(Anchor)。 FLIR 数据集是由 FLIR 公司于 2018 年 7 月发行的热数据集，帮助开发人员开发并训练卷积神经网络，使汽车行业能够使用 FLIR 的高性价比热像仪，开发新一代更安全、更高效的 ADAS 和无人驾驶汽车系统。 FLIR 数据集总共包含 14452 张红外图像，数据集采集于街道和高速路等场景，本实验从原始 FLIR 数据集中提取含有行人目标的图片与标注进行实验验证，其中训练集 4798 张，测试集 1040 张。其部分典型场景如图 2-7 所示。图 2-7 FLIR 数据集部分典型场景该数据集包含三个类别：行人（person）、自行车（bicycle）、汽车（car）。因本文针对行人目标进行检测，因此对原始 FLIR 数据集进行预处理，保留训练和测试所需要的“行人”类的标签。 在 VisDrone 和 FLIR 数据集上的训练实验中，我们使用 YOLOv4-tiny 算法，并对模型进行了调整，以适应航拍场景。实验结果表明，YOLOv4-tiny 算法在 VisDrone 和 FLIR 数据集上的检测性能优于其他算法，证明了 YOLOv4-tiny 算法的泛化性和鲁棒性。