发布日期：2023-03-28
最新发表：理解卷积神经网络的感受野如何影响Landsat 8 OLI影像云检测
最新发表：理解卷积神经网络的感受野如何影响Landsat 8 OLI影像云检测
发布日期：2022-02-10 19:41
浏览次数：163
【研究背景】
Landsat等光学影像很容易受到云雾的影响；因此，准确的云检测对于下一步处理与分析至关重要。随着深度学习的兴起，研究人员也将深度语义分割网络用于遥感图像云检测，并发现其相比传统方法具有更好的表现。深度卷积神经网络（CNN）在图像领域的成功普遍被归功于其自动提取更高或更抽象语义特征的能力。然而，CNN究竟学习到怎样的语义特征往往难以被用户了解，也因此相比传统方法，神经网络被很多人认为是“黑箱”模型。近年来一些方法被提出用于解释或展示CNN的工作机理，从而逐步揭开CNN的“黑箱”。比如Taylor decomposition，layer-wise relevance propagation、DeepLIFT和有效感受野（Effective Receptive Field，ERF）等。这些方法能够解释CNN预测时所依赖的特征，有助于进一步改进网络，提升网络性能。但是，这些方法还没有被尝试在遥感影像云检测任务上应用，我们对于CNN学习到的云特征仍然知之甚少。
本研究选择从感受野的角度去理解CNN学习到的特征，并进一步分析其如何影响遥感云检测的结果与精度。对于语义分割网络而言，感受野指的是在预测某像元分类结果时，其周边起作用的影像范围。一般认为，感受野越大越有助于CNN学习到更丰富的语义信息，从而提高识别精度；然而，感受野越大也会导致更多空间细节的损失和边界的模糊。因此，一个语义分割网络需要权衡语义信息挖掘能力与边缘精确定位之间的矛盾，而理解感受野的作用对于权衡二者的矛盾至关重要。
【实验及主要研究结论】
我们的研究在Landsat 8 Biome数据集上探讨了云检测网络的感受野大小和云检测性能间的关系。实验选择了六种典型的云检测网络（U-Net，DeepLabv3+，TL-Net，MUNet，MF-CNN和MSCFF）和九个具有不同深度、扩张卷积和跳跃连接的UNet变体作为研究对象；引入了理论感受野（Theoretical Receptive Field，TRF）和ERF来量化感受野的大小。TRF指理论上通过网络结构与输出单元相连的区域，仅由网络结构决定；ERF指对输出单元起到有效影响的区域，在网络训练完成后，基于输入像元对输出单元的贡献大小估计得到，与网络参数和输入影像都有关。因此，ERF能更好地指示网络训练后学习到的语义特征尺度。
在Landsat 8 OLI影像上云检测的主要实验结果如下：
- 在不同的云分布情况下（不同的厚薄云相对占比、云斑块大小以及总云量），ERF尺寸都与云检测精度之间存在显著负相关关系；而TRF尺寸与云检测精度之间的负相关关系则相对较弱。经过云数据集训练后，多数网络的ERF平均尺寸（等效方形边长）小于20个像元，比其相应的TRF（14-1267个像元）小得多，表明网络训练后没有学习到大尺度的语义信息，也意味着大尺度的语义特征无助于云检测精度的提高。因此，对于Landsat 8 OLI影像的云检测任务而言，建议使用具有小TRF的网络（比如TL-Net），足以实现高精度和高效率的云检测。
- 不同网络的云检测结果区别是主要体现在云斑块边缘，同时ERF尺寸对边缘精度（Boundary F-score，BF）的解释力(R2=0.488)明显高于对区域精度（Overall accuracy，OA）的解释力(R2=0.188)。但总体来说，不论对于哪个网络，其云检测结果的边缘精度都要远低于区域精度。因此，建议未来的云检测网络研究应致力于解决边界定位不准确的问题，而不是在大感受野上挖掘更丰富的语义信息。
需要特别注意的是，以上结论只对Landsat 8 OLI 影像的云检测任务适用，针对其他遥感数据可能发生变化。一个补充实验说明，当减少影像波段时，ERF尺寸与云检测边界精度不再呈现简单的负相关，而是一个二次函数的关系。当光谱波段越少时，最优的ERF尺寸相应变大。该结果表明随着光谱信息的减少，大尺度语义信息会变得更加重要。
在不同光谱组合的影像中，UNet变体的TRF、ERF和准确性之间的关系
该论文已发表于IEEE Transactions on Geoscience and Remote Sensing（JCR Q1，IF=5.6）上。
Reference: L. Peng, X. Chen, J. Chen, W. Zhao and X. Cao, "Understanding the Role of Receptive Field of Convolutional Neural Network for Cloud Detection in Landsat 8 OLI Imagery," in IEEE Transactions on Geoscience and Remote Sensing, doi: 10.1109/TGRS.2022.3150083.
分享到：
