发布日期：2023-03-28
最新发表：基于YOLOv4的深度学习方法准确识别和定位GPR图像中的植物根系目标
最新发表：基于YOLOv4的深度学习方法准确识别和定位GPR图像中的植物根系目标
发布日期：2022-06-20 14:44
浏览次数：249
【研究背景】
近年来，探地雷达（GPR）作为植物根系的无损探测方式已经变得越来越重要。从GPR图像中自动识别和定位根目标是一项重大挑战。GPR图像上的根系呈现出复杂的双曲线信号，这些双曲线信号根据根系大小，方向，聚集程度和土壤背景而变形。本文提出了一种基于YOLOv4改进的深度学习方法YOLOv4-hyperbola，它能够从GPR图像中全自动识别和定位根对象。YOLOv4-hyperbola通过引入关键点检测分支来改进YOLOv4（You Only Look Once v4）架构，以便在识别根的同时准确定位根。 YOLOv4-hyperbola模型利用现场实测数据集和模拟数据集进行训练，并在野外两个实验的根系数据集上进行评估与验证。与随机霍夫变换（RHT）方法相比，该方法在GPR图像上检测根目标方面表现出更高的精度和效率。 YOLOv4-hyperbola能够准确识别和定位自然界中由根系复杂性引起的异常双曲线信号。在两个独立的实测数据集上验证表明，所提方法具有良好的泛化性和迁移性，并且在野外大面积根系的实时检测和定位方面具有较大的应用潜力。
【研究思路】
GPR B-scan图像中的根识别不仅需要高识别率，还需要精确的定位。根目标的定位需要获取在 GPR B-scan图像上识别为根系的双曲线的顶点位置。作为基于锚框的目标检测网络，YOLOv4输出目标检测框、类别和置信度，但是无法获得目标更精细的信息。这非常适合仅需要目标识别的任务，并不适合应用于识别和定位GPR图像上的根目标中。为了解决这个问题，本研究提出了YOLOv4-hyperbola模型，通过在YOLOv4的预测部分添加双曲线地标回归头来改进和扩展YOLOv4网络。如图 1 所示，在预测部分，我们将（d）替换为（e）并重新设计损失函数。如图2（a）所示，在双曲线上共设置了五个关键点， 1 代表双曲线的顶点，可以表示根目标的位置。2、3 分别是双曲线上的左中点和右中点， 4、5 分别是双曲线的左尾点和右尾点。中点和尾点有助于模型更加精确的学习双曲线的顶点位置。这五个点可以很好地表示双曲线的开口形状。本文使用Wing 损失函数进行五个双曲线地标回归。YOLOv4-hyperbola的原始预测输出是 6 维 [见图2（b）]，其中包含边界框坐标、置信度和类别，添加关键点预测回归头后，输出维度变为16维 [见图2（c）]，增加了5对关键点坐标。
近年来，探地雷达（GPR）作为植物根系的无损探测方式已经变得越来越重要。从GPR图像中自动识别和定位根目标是一项重大挑战。GPR图像上的根系呈现出复杂的双曲线信号，这些双曲线信号根据根系大小，方向，聚集程度和土壤背景而变形。本文提出了一种基于YOLOv4改进的深度学习方法YOLOv4-hyperbola，它能够从GPR图像中全自动识别和定位根对象。YOLOv4-hyperbola通过引入关键点检测分支来改进YOLOv4（You Only Look Once v4）架构，以便在识别根的同时准确定位根。 YOLOv4-hyperbola模型利用现场实测数据集和模拟数据集进行训练，并在野外两个实验的根系数据集上进行评估与验证。与随机霍夫变换（RHT）方法相比，该方法在GPR图像上检测根目标方面表现出更高的精度和效率。 YOLOv4-hyperbola能够准确识别和定位自然界中由根系复杂性引起的异常双曲线信号。在两个独立的实测数据集上验证表明，所提方法具有良好的泛化性和迁移性，并且在野外大面积根系的实时检测和定位方面具有较大的应用潜力。
【研究思路】
GPR B-scan图像中的根识别不仅需要高识别率，还需要精确的定位。根目标的定位需要获取在 GPR B-scan图像上识别为根系的双曲线的顶点位置。作为基于锚框的目标检测网络，YOLOv4输出目标检测框、类别和置信度，但是无法获得目标更精细的信息。这非常适合仅需要目标识别的任务，并不适合应用于识别和定位GPR图像上的根目标中。为了解决这个问题，本研究提出了YOLOv4-hyperbola模型，通过在YOLOv4的预测部分添加双曲线地标回归头来改进和扩展YOLOv4网络。如图 1 所示，在预测部分，我们将（d）替换为（e）并重新设计损失函数。如图2（a）所示，在双曲线上共设置了五个关键点， 1 代表双曲线的顶点，可以表示根目标的位置。2、3 分别是双曲线上的左中点和右中点， 4、5 分别是双曲线的左尾点和右尾点。中点和尾点有助于模型更加精确的学习双曲线的顶点位置。这五个点可以很好地表示双曲线的开口形状。本文使用Wing 损失函数进行五个双曲线地标回归。YOLOv4-hyperbola的原始预测输出是 6 维 [见图2（b）]，其中包含边界框坐标、置信度和类别，添加关键点预测回归头后，输出维度变为16维 [见图2（c）]，增加了5对关键点坐标。
图1 用于GPR B-scan 图像上根目标检测的YOLOv4-hyperbola结构；(a)-(d) YOLOv4 的组成部分；(a)-(c)、(e) YOLOv4-hyperbola的组成部分
图2 (a) 双曲线的关键点设置；(b) 原始YOLOv4的输出结果和维度；(c) YOLOv4-hyperbola的输出结果和维度
【研究结果】
每张图像的检测时间约为6.1 ms，远小于人工识别所花费的时间。F1值和APIoU=0.5和APoks=0.5均达到90%以上，表明YOLOv4-hyperbola可以快速准确地识别和定位GPR B-scan图像上的双曲线目标。当仅使用实测数据集来训练模型时，YOLOv4-hyperbola的各项精度指标要低于使用模拟数据集，如表1所示。这验证了模拟数据集对于 YOLOv4-hyperbola模型训练的重要性。图3和图4表明该模型可以准确地识别和定位每一个双曲线，而不受交叉双曲线尾部形成的虚假目标的影响，即使由于根延伸角的变化导致根反射的一些双曲信号变得微弱或不完整，YOLOv4-hyperbola依然可以有效地识别所有预期的双曲线目标。
表1. 有/没有模拟数据集的YOLOv4-hyperbola模型精确度指标评价
图3 YOLOv4-hyperbola模型在野外实测数据集上的表现结果；(a1-d1) 原始图像,
(a2-d2) YOLOv4-hyperbola的检测结果
图 4. (a) 30m样方内第96条测量线对应的原始图像；(b) YOLOv4双曲线的检测结果。
该论文已发表于IEEE Transactions on Geoscience and Remote Sensing（JCR Q1，IF=5.6）上。
Reference: S. Li, X. Cui, L. Guo, L. Zhang, X. Chen and X. Cao, "Enhanced Automatic Root Recognition and Localization in GPR Images Through a YOLOv4-Based Deep Learning Approach," in IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-14, 2022, Art no. 5114314, doi: 10.1109/TGRS.2022.3181202.
URL: https://ieeexplore.ieee.org/document/9791296?source=authoralert
图2 (a) 双曲线的关键点设置；(b) 原始YOLOv4的输出结果和维度；(c) YOLOv4-hyperbola的输出结果和维度
【研究结果】
每张图像的检测时间约为6.1 ms，远小于人工识别所花费的时间。F1值和APIoU=0.5和APoks=0.5均达到90%以上，表明YOLOv4-hyperbola可以快速准确地识别和定位GPR B-scan图像上的双曲线目标。当仅使用实测数据集来训练模型时，YOLOv4-hyperbola的各项精度指标要低于使用模拟数据集，如表1所示。这验证了模拟数据集对于 YOLOv4-hyperbola模型训练的重要性。图3和图4表明该模型可以准确地识别和定位每一个双曲线，而不受交叉双曲线尾部形成的虚假目标的影响，即使由于根延伸角的变化导致根反射的一些双曲信号变得微弱或不完整，YOLOv4-hyperbola依然可以有效地识别所有预期的双曲线目标。
表1. 有/没有模拟数据集的YOLOv4-hyperbola模型精确度指标评价
图3 YOLOv4-hyperbola模型在野外实测数据集上的表现结果；(a1-d1) 原始图像,
(a2-d2) YOLOv4-hyperbola的检测结果
图 4. (a) 30m样方内第96条测量线对应的原始图像；(b) YOLOv4双曲线的检测结果。
该论文已发表于IEEE Transactions on Geoscience and Remote Sensing（JCR Q1，IF=5.6）上。
Reference: S. Li, X. Cui, L. Guo, L. Zhang, X. Chen and X. Cao, "Enhanced Automatic Root Recognition and Localization in GPR Images Through a YOLOv4-Based Deep Learning Approach," in IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-14, 2022, Art no. 5114314, doi: 10.1109/TGRS.2022.3181202.
URL: https://ieeexplore.ieee.org/document/9791296?source=authoralert
分享到：