1150210 meeting

前情提要

本次實驗改用 MERRA-2 資料集作為實驗樣本，由上次實驗（1150203 meeting）可知，當 diffusion 參數設為

• T: 500
• beta_0: 0.0008
• beta_T: 0.08

時，可以得到較佳的時間序列預測結果，故本次實驗皆使用此參數進行。

時間序列失真問題

本次實驗所調整的參數為 s4_state_dim 與 s4_dropout ，用於測試調整此參數是否對於實驗的預測結果有影響。

以下實驗同樣包含對空間進行標準化（SP）的未知地點填補實驗結果。

命名方式

以下各實驗命名方式遵照 XXX-XXXX-XX 的方式進行命名，其中 XXX 指的是是否有在訓練過程中使用 $autoFRK$ ， XXXX 指的是訓練的迭代次數， XX 則是是否有對地點做標準化。如 NoFRK-4000-NoSP 指的是在訓練中未使用 $autoFRK$ ，迭代 4,000 次，且在填補時未對地點做標準化。

s4_state_dim128-s4_dropout0.1

FRK-4000-SP

FRK-4000-NoSP

NoFRK-4000-SP

NoFRK-4000-NoSP

s4_state_dim512-s4_dropout0.1

FRK-4000-SP

FRK-4000-NoSP

NoFRK-4000-SP

NoFRK-4000-NoSP

s4_state_dim128-s4_dropout0.5

FRK-4000-SP

FRK-4000-NoSP

NoFRK-4000-SP

NoFRK-4000-NoSP

s4_state_dim512-s4_dropout0.5

FRK-4000-SP

FRK-4000-NoSP

NoFRK-4000-SP

尚未進行實驗。

NoFRK-4000-NoSP

尚未進行實驗。

結論

本次實驗結果顯示，當 s4_state_dim 是 128 與 s4_dropout 是 0.5 時，可取得全實驗組別中的最佳預測結果。實驗結果顯示較小的狀態維度（128）配合較高的 Dropout 率（0.5） ，能最有效地捕捉時空特徵並抑制過擬合，顯著提升模型對未知時空的泛化能力。

本次實驗也同樣發現，在進行最終的未知地點的填補時，經由空間標準化（SP）可以有效降低填補誤差。

FRK-SP

以表現最穩定的 FRK-SP（有 AutoFRK 且有空間標準化）組別為例，針對「未知地點的未來預測（Unknown Locs & Future）」指標進行對比：

• s4_state_dim = 128 (Dropout 0.1)

  MSPE 為 174.77 ， RMSPE 為 13.22 。

• s4_state_dim = 128 (Dropout 0.5)

  MSPE 為 166.19，RMSPE 為 12.89 。

• s4_state_dim = 512 (Dropout 0.1)

  MSPE 為 200.62 ， RMSPE 為 14.16 。

• s4_state_dim = 512 (Dropout 0.5)

  MSPE 為 177.84 ， RMSPE 為 13.34 。

由以上結果可知，在此資料集與任務規模下，128 維的狀態空間已足以捕捉時空特徵。提升至 512 維可能導致模型參數過多，在訓練數據有限的情況下產生了過擬合（Overfitting）現象，反而降低了對未知地點的推論能力。

SP

本次實驗發現，空間標準化對於資料填補是一件很重要的事情，可以防範預測數值面臨災難性的爆炸。

• 有標準化 (SP)

  所有 SP 組別的 MSPE 均保持在正常範圍（35 ~ 200 之間）。

• 無標準化 (NoSP)

  幾乎所有 NoSP 組別（無論是 128 或 512 維，無論是否有 FRK），其 Unknown Locs 的 MSPE 均暴增至 $10^{27}$ ~ $10^{29}$ 的量級。

AutoFRK

在填補時使用空間標準化（SP）的前提下，可發現當 s4_state_dim 是 128 時，在訓練過程中接入 FRK 可降低未知地點的預測誤差；而當 s4_state_dim 是 512 時，未在訓練過程中使用 FRK 反而預測效果更佳。

s4_dropout 的影響

對比維度 128 的兩組實驗發現，提高 Dropout 率對於處理 MERRA-2 資料集有顯著幫助：

• s4_dropout = 0.5 (Best)

  在「Unknown Locs & Future」指標取得 MSPE 166.19 。

• s4_dropout = 0.1

  同指標下 MSPE 為 174.77 。

實驗結果顯示，較高的 Dropout 能顯著降低預測誤差。

參考資料

• Zhu X, Xiong Y, Wu M, et al. Weather2K: A Multivariate Spatio-Temporal Benchmark Dataset for Meteorological Forecasting Based on Real-Time Observation Data from Ground Weather Stations[C]//International Conference on Artificial Intelligence and Statistics. PMLR, 2023: 2704-2722.
• Juan Lopez Alcaraz 、 Nils Strodthoff（2022）。Diffusion-based time series imputation and forecasting with structured state space models。Transactions on Machine Learning Research。參考自 https://openreview.net/forum?id=hHiIbk7ApW
• SSSD（2022）。GitHub。參考自 https://github.com/AI4HealthUOL/SSSD