发布日期：2023-03-28
最新发表：一套新的时空融合方法全面精度评价（all-round performance assessment, APA）框架
最新发表：一套新的时空融合方法全面精度评价（all-round performance assessment, APA）框架
发布日期：2022-03-28 12:32
浏览次数：399
0. 简介
单一卫星数据难以同时获得高时空分辨率的数据，限制了遥感对复杂地表的动态监测。为解决该问题，当前已经发展了超过100种时空数据融合算法。众多的算法为时空数据融合的应用带来算法选择的难题，亟需公平且全面的算法精度评价方法。陈晋教授团队与香港理工大学朱孝林博士合作，近期在《Remote sensing of environment》上发表文章“A novel framework to assess all-round performances of spatiotemporal fusion models”，提出了一套新的融合结果全面精度评价（all-round performance assessment, APA）框架，并在6种典型时空融合算法的对比实验中进行了验证。相关结果将指导新的时空融合算法开发和促进时空融合算法的落地应用。
1. 研究背景
时空数据融合作为一种可行的、低成本的高时空分辨率时间序列遥感图像生成技术，在过去的20年里得到了迅速的发展。融合结果的精度评价关系到对新发展算法表现的评测，也关系到在不同实际应用场景中对算法的选取。定量精度评价的基本方法是利用可获取的高分辨率图像作为参考图像，通过精度指标量化融合结果与参考图像差异或相似性。当前，对100余种时空数据融合文献的元分析表明目前最常用的精度指标为均方根误差（RMSE）、相关系数（r）、平均绝对误差（AAD）、结构相似性指数（SSIM）等。
然而，这些常用精度指标存在三个主要问题：（1）主要评价光谱维度的精度，空间信息差异较大的融合图像可以得到相同的精度评价结果（图1示例）；（2）很多精度指标之间具有高度相关性，导致信息冗余；（3）除算法自身外，融合结果还受到地表异质性和输入数据的影响，导致不同研究区和不同输入数据得到的评价结果缺乏可比性。
图1 空间信息显著不同的融合结果得到相同的RMSE或r评价结果
2. 研究思路
针对上述问题，本研究提出一组精度指标的最优组合，以评估算法性能的多个维度，并设计一个新的可视化工具来公平地比较不同研究区和不同输入数据下各算法精度。具体研究步骤包括：提出全面精度评价方法的准则，选取备选精度指标，利用模拟实验和准测寻找精度指标最优组合，最后以泰勒图为原型设计可以有效呈现精度评价结果的可视化工具（即APA图）。
全面精度评价准则：（1）精度指标可以区分融合图像中光谱和空间维度误差的大小，并指示低估或高估；（2）精度指标之间相互独立，以避免冗余；（3）精度指标的计算简单，以方便用户采用；（4）精度指标应与由输入数据和地表特征确定的基准精度一起呈现，以公平地比较不同研究区和不同输入数据下各算法精度。
备选精度指标：光谱维度精度包括5个备选指标，分别是RMSE、 AAD、 AD、 r、SSIM。空间维度精度包括11个备选指标，分别是局域窗口标准差（Local sd）、边界指数（Edge）、局部二值模式纹理（LBP）、以及8个基于灰度共生矩阵的纹理指标（见图2示例）。
图2 空间维度精度的11个备选指标示例
融合图像模拟：为了选择精度指标的最优组合，需要具有不同类型（例如光谱或空间）和不同误差程度（例如小、中、大）的融合图像。考虑到现有时空融合方法生成的融合图像不能覆盖广泛的误差类型和幅度，我们通过模拟融合图像来考察不同的评价指标。基于对当前融合算法原理的分析，分别采取3种策略模拟融合图像：时间变化策略、空间锐化策略、时空混合策略（图3）。
图3. 三种模拟策略得到的融合图像示例。(a) 时间变化策略、(b)空间锐化策略、(c)时空混合策略
APA图设计：类似于泰勒图，APA图采用极坐标设计，代表光谱和空间维度精度的指标分配到极坐标图的半径和角度上。在该图中，根据研究区的异质性特征和输入数据质量定义中等（fair）和良好（good）区间，以对比不同算法相对于基准精度的表现。精度落在fair区间表明算法只能在光谱或空间中的一个维度有效，落在good区间表明算法在光谱和空间维度都有效（见图4概念图）。
图4. 全面精度评价（APA）结果呈现概念图
3. 研究结果
精度指标最优组合：发现RMSE和AD的组合可以很好评价融合图像在光谱维度的精度（包括误差大小和方向，图5（a）），Edge和LBP都可以很好区分融合图像在空间维度的精度，二者计算简单，分别反映了融合图像在边界信息和纹理信息的精度（图5（b））。Edge和LBP指标的取值为-1到1之间，0表示最佳精度，正负值代表高估或低估了空间信息。
图5. 光谱维度精度指标(a) 和空间维度精度指标(b) 随引入误差幅度的变化
融合算法对比：在3个场景和不同输入数据下，利用最优精度指标组合对比6种经典融合算法，包括Fit-FC、FSDAF、LMGM、OPDL、STARFM、UBDF。图6是城市场景下6种融合算法得到的融合图像和参考图像， Fit-FC、FSDAF、OPDL、STARFM都不能很好预测城市区域的空间细节，但是传统指标显示FSDAF为最佳结果（表1），这和视觉评价有较大出入。而精度指标最优组合中的Edge和LBP指数能非常好的刻画这些融合图像在空间维度的精度，显示FSADF的空间精度远低于LMGM。
图6. 城市场景下6种融合算法得到的融合图像（NIR-R-G合成）
表1. 图5中6种融合算法结果的定量精度评价（粗体为各指标下最佳精度）
传统精度指标 | 最优精度指标 | |||||||
RMSE | r | AAD | AD | RMSE | Edge | LBP | ||
Fit-FC | 0.030 | 0.803 | 0.021 | 0.000 | 0.030 | -0.395 | -0.137 | |
FSDAF | 0.028 | 0.817 | 0.020 | 0.000 | 0.028 | -0.459 | -0.158 | |
LMGM | 0.047 | 0.586 | 0.034 | 0.000 | 0.047 | -0.225 | -0.013 | |
OPDL | 0.029 | 0.813 | 0.021 | 0.000 | 0.029 | -0.464 | -0.112 | |
STARFM | 0.032 | 0.757 | 0.023 | -0.001 | 0.032 | -0.610 | -0.428 | |
UBDF | 0.049 | 0.547 | 0.035 | 0.000 | 0.049 | -0.336 | -0.335 | |
APA图可视化结果：利用输入数据定义APA图中的fair和good区间，并呈现图6中各融合算法的精度评价结果（图7）。该图清晰地显示了各算法在光谱和空间维度精度的表现。比如，UBDF和LMGM位于good扇形区域对应的角度范围内，说明二者在空间维度的表现较好，但是二者皆远离good扇形区域边缘，说明二者光谱维度的表现较差。相反，其他4个算法在光谱维度表现较好，但空间维度较差。因此，用户需要根据应用需求挑选合适的融合算法。
图7. APA图展示图6中各融合图像的精度评价结果
4. 研究结论
本研究提出了一个从光谱和空间细节两方面评估时空融合算法表现的新框架，其精度指标最优组合（RMSE、AD、Edge和LBP）不仅量化了融合图像中的光谱和空间细节信息，而且极大地减少了信息冗余。基于泰勒图，我们设计了一种精度评价结果的可视化工具（APA图）。APA图基于输入数据特征定义的fair和good区间便于对不同时空融合算法进行交叉比较。本研究可以指导用户根据实际应用选择合适的方法，并有助于建立时空融合精度评价的标准体系。
5. 论文信息
论文题目: A novel framework to assess all-round performances of spatiotemporal fusion models
发表期刊: Remote Sensing of Environment
全文论文链接: https://www.sciencedirect.com/science/article/pii/S003442572200116X
该项工作的程序和测试数据下载地址：https://github.com/XZhu-lab/Fusion-accuracy-assessment
分享到：
