发布日期：2023-03-28
最新发表：基于光谱自相关的时空融合新算法——FIRST模型
最新发表：基于光谱自相关的时空融合新算法——FIRST模型
发布日期：2022-06-21 09:34
浏览次数：1056
现有时空融合的算法设计都是基于单独预测单个波段，即通过输入单个光谱相似的波段来生成单个波段的预测结果（一对一框架），目前的时空融合方法还没有探索同时使用多个光谱波段的优越性。在这种情况下，多光谱图像的处理与单光谱图像没有区别，多个波段之间有价值的光谱自相关被忽略了。然而，使用遥感图像的更多光谱带可以提高回归模型的性能（多对一框架），并有效提高了空间-光谱融合结果的质量。此外，使用质量较好的光谱波段预计会有利于质量较差的波段的融合性能，特别是当存在雾霾和云层时。例如，与可见光波段相比，短波红外（SWIR）波段可以更好地穿透气溶胶并提供更清晰的卫星观测。同时，在多元回归模型（MLR）进行多普段信息利用时，使用所有可用的谱带作为输入并不能保证时空融合方法性能的提高，因为尽管具有优越的建模能力，但当高斯噪声较高时，多个谱带之间的勾稽关系会使高斯噪声膨胀，从而导致结果不稳定。
论文提出了一种新颖的多谱段时空融合的新方法：基于时空自相关的时空融合方法（spatiotemporal Fusion IncorRporting Spectral autocorrelaTion，FIRST）（图1），用于多波段影像融合任务。该方法利用偏最小二乘法回归（PLSR）方法，来实现多变量多元回归的问题（图2），即它可以用多个自变量同时预测多个因变量（多对多框架）。PLSR具有包含更多光谱信息和缓解串联效应的优点；并通过最佳PLS成分数选择（OPC），以及自适应残差补偿（ARC）的过程，对预测结果的进行优化。在多个时空融合数据集上进行的比较研究表明，FIRST在整体精度和空间细节方面都优于其他四种比较方法（STARFM、FSDAF、Fit-FC和ESTARFM）：首先，FIRST的建模策略充分利用了大多数现有方法所忽略的多个频段的光谱自相关。常见的情况是，多个波段的光谱值同时变化并具有一定的规律，而不是相互独立。因此，在回归中使用多个波段而不是单一波段可以获得更多的信息，以建立一个更准确的模型来捕捉复杂的时间变化模式和更准确的分类精度（图3）;使用多波段的另一个巨大好处是，它降低了方法对数据噪声的敏感性。光学卫星数据经常受到噪声（如雾霾和薄云）的污染，如果现有的时空融合方法是基于一对一的框架，就会严重影响其结果。然而，如果噪声没有占据所有的输入波段，一些波段仍然几乎是清晰的，所提出的方法可能仍然能够产生可靠的预测，因为剩余的信息在PLSR中被区别于噪声。因此，在图4中的RGB和NIR-SWIR1-SWIR2合成物是很有意思的，它表明云层穿透力更强的SWIR波段为融合部分被薄云或雾霾污染的多光谱图像提供了潜力。更重要的是，PLSR可以处理使用多个光谱波段时的碰撞问题。此外，FIRST-two通过加权组合程序整合了多对图像输入的预测结果，以获得更多的信息，因此在可以提供更多的图像输入时，可以更准确地模拟表面变化模式（图5）。
本方法基本思想简单，采用了多对多的框架，最大限度地从所有可用的光谱波段中获取信息，并减轻了串联的影响，从而获得更准确的多波段融合图像，且FIRST可以持续产生更好的预测，即使是复杂的时间变化模式也有明显的空间细节。此外，所提出的方法可以抵御由雾霾和薄云造成的一些噪声，并仍然取得良好的性能。因此，它在多个卫星产品的时空融合方面有很大的潜力，可以支持各种应用。
该论文已在最新一期Remote Sensing of Environment上发表
论文提出了一种新颖的多谱段时空融合的新方法：基于时空自相关的时空融合方法（spatiotemporal Fusion IncorRporting Spectral autocorrelaTion，FIRST）（图1），用于多波段影像融合任务。该方法利用偏最小二乘法回归（PLSR）方法，来实现多变量多元回归的问题（图2），即它可以用多个自变量同时预测多个因变量（多对多框架）。PLSR具有包含更多光谱信息和缓解串联效应的优点；并通过最佳PLS成分数选择（OPC），以及自适应残差补偿（ARC）的过程，对预测结果的进行优化。在多个时空融合数据集上进行的比较研究表明，FIRST在整体精度和空间细节方面都优于其他四种比较方法（STARFM、FSDAF、Fit-FC和ESTARFM）：首先，FIRST的建模策略充分利用了大多数现有方法所忽略的多个频段的光谱自相关。常见的情况是，多个波段的光谱值同时变化并具有一定的规律，而不是相互独立。因此，在回归中使用多个波段而不是单一波段可以获得更多的信息，以建立一个更准确的模型来捕捉复杂的时间变化模式和更准确的分类精度（图3）;使用多波段的另一个巨大好处是，它降低了方法对数据噪声的敏感性。光学卫星数据经常受到噪声（如雾霾和薄云）的污染，如果现有的时空融合方法是基于一对一的框架，就会严重影响其结果。然而，如果噪声没有占据所有的输入波段，一些波段仍然几乎是清晰的，所提出的方法可能仍然能够产生可靠的预测，因为剩余的信息在PLSR中被区别于噪声。因此，在图4中的RGB和NIR-SWIR1-SWIR2合成物是很有意思的，它表明云层穿透力更强的SWIR波段为融合部分被薄云或雾霾污染的多光谱图像提供了潜力。更重要的是，PLSR可以处理使用多个光谱波段时的碰撞问题。此外，FIRST-two通过加权组合程序整合了多对图像输入的预测结果，以获得更多的信息，因此在可以提供更多的图像输入时，可以更准确地模拟表面变化模式（图5）。
本方法基本思想简单，采用了多对多的框架，最大限度地从所有可用的光谱波段中获取信息，并减轻了串联的影响，从而获得更准确的多波段融合图像，且FIRST可以持续产生更好的预测，即使是复杂的时间变化模式也有明显的空间细节。此外，所提出的方法可以抵御由雾霾和薄云造成的一些噪声，并仍然取得良好的性能。因此，它在多个卫星产品的时空融合方面有很大的潜力，可以支持各种应用。
该论文已在最新一期Remote Sensing of Environment上发表
REF：Liu, S., Zhou, J., Qiu, Y., Chen, J., Zhu, X., & Chen, H. (2022). The FIRST model: Spatiotemporal fusion incorrporting spectral autocorrelation. Remote Sensing of Environment, 279, 113111
URL:https://www.sciencedirect.com/science/article/abs/pii/S0034425722002255
算法代码点此下载
图1 基于光谱自相关的时空融合方法（FIRST）的流程图
图2 偏最小二乘回归（PLSR）的流程图
图3在三个预测日期预测结果的视觉比较：（a）参考影像，（b）STARFM，（c）FSDAF，（d）Fit-FC，和（e）FIRST。
图4 a）带有云雾污染的基础影像和（b）参考影像以及（c）STARFM、（d）FSDAF、（e）Fit-FC和（f）FIRST的融合图像。第一组显示了R-G-B组合的可视化效果，第二组显示了NIR-SWIR1-SWIR2组合的可视化效果。
图5 （a）参考影像，（b）ESTARFM和（c）FIRST-wo。
图1 基于光谱自相关的时空融合方法（FIRST）的流程图
图2 偏最小二乘回归（PLSR）的流程图
图3在三个预测日期预测结果的视觉比较：（a）参考影像，（b）STARFM，（c）FSDAF，（d）Fit-FC，和（e）FIRST。
图4 a）带有云雾污染的基础影像和（b）参考影像以及（c）STARFM、（d）FSDAF、（e）Fit-FC和（f）FIRST的融合图像。第一组显示了R-G-B组合的可视化效果，第二组显示了NIR-SWIR1-SWIR2组合的可视化效果。
图5 （a）参考影像，（b）ESTARFM和（c）FIRST-wo。
分享到：