1150224 meeting

前情提要

本次實驗使用與前次（1150224 meeting）相同的 MERRA-2 資料集作為實驗樣本。

前次實驗使用地表溫度作為實驗樣本，本次實驗使用臭氧濃度作為實驗樣本。其中， diffusion 參數設為

• T: 500
• beta_0: 0.0008
• beta_T: 0.08

本次實驗皆使用以上參數進行。其餘參數僅修改 s4_dropout 為 0.3 、 0.5 、 0.8 ，用於測試不同的丟失率對於模型預測的效果；同時採用 500 、 4,000 、 6,000 三種不同的迭代次數，測試在不同迭代下的丟失率對於預測是否有影響。

命名方式

以下各實驗命名方式遵照 XXX-XXXX-XX 的方式進行命名，其中 XXX 指的是是否有在訓練過程中使用 $autoFRK$ ， XXXX 指的是訓練的迭代次數， XX 則是是否有對地點做標準化。如 NoFRK-4000-NoSP 指的是在訓練中未使用 $autoFRK$ ，迭代 4,000 次，且在填補時未對地點做標準化。

s4_dropout 0.3

FRK-500-SP

FRK-4000-SP

FRK-6000-SP

NoFRK-500-SP

NoFRK-4000-SP

NoFRK-6000-SP

s4_dropout 0.5

FRK-4000-SP

NoFRK-4000-SP

s4_dropout 0.8

FRK-500-SP

FRK-4000-SP

FRK-6000-SP

NoFRK-500-SP

NoFRK-4000-SP

NoFRK-6000-SP

結論

本次實驗結論如下：

• 最佳表現

  出現在 Dropout 0.8 且 迭代 4,000 次 的組合（FRK-4000-SP），其全時空 MSPE 為 271.44。

• 關鍵機制

  高 Dropout（0.8）能有效抑制模型對氣象噪聲的過擬合，顯著提升「未來（Future）」預測的泛化能力。

• 收斂特性

  對於複雜度較高的臭氧資料，4,000 次迭代為性能飽和點，500 次迭代則完全不足以令擴散模型收斂，會導致數值爆炸。

s4_dropout 的影響

透過固定迭代次數（4,000次）比較不同 s4_dropout 率對預測效果的影響：

隨著 Dropout 從 0.3 提升至 0.8，整體的 MSPE 下降了約 5.6%。這表明臭氧濃度的變化規律中存在較多隨機微擾，強力的丟失率能強迫 S4 結構學習更本質的時空特徵。且 Dropout 0.8 在「未來預測（Future）」中，不論已知或未知地點，其誤差均為全實驗組最低，驗證了高 Dropout 雖會減緩訓練收斂速度，但能換取更佳的測試集表現。

迭代的影響

比較不同迭代次數（500, 4,000, 6,000）在同一 Dropout 設定下的表現：

• 500 次迭代：數值爆炸

  • 無論是 FRK 還是 NoFRK ，500 次迭代的 MSPE 均呈現異常高值。

  • 臭氧濃度的數值分佈與時空變化遠比溫度資料複雜。在擴散模型中，僅 500 次的訓練不足以讓模型學習到逆轉擴散過程（Reverse Diffusion）的去噪規律，導致生成的數值脫離正常量級。

• 4,000 次 vs. 6,000 次：邊際效益遞減

  以 Dropout 0.8 為例：

  • 4,000 Iterations: MSPE = 271.44
  • 6,000 Iterations: MSPE = 274.14
  • 發現：增加到 6,000 次迭代後，誤差反而輕微回升。這暗示模型在 4,000 次左右已達到最佳收斂點，過多的訓練迭代反而可能導致模型開始記憶訓練集 中的特定雜訊。

參考資料

• Zhu X, Xiong Y, Wu M, et al. Weather2K: A Multivariate Spatio-Temporal Benchmark Dataset for Meteorological Forecasting Based on Real-Time Observation Data from Ground Weather Stations[C]//International Conference on Artificial Intelligence and Statistics. PMLR, 2023: 2704-2722.
• Juan Lopez Alcaraz 、 Nils Strodthoff（2022）。Diffusion-based time series imputation and forecasting with structured state space models。Transactions on Machine Learning Research。參考自 https://openreview.net/forum?id=hHiIbk7ApW
• SSSD（2022）。GitHub。參考自 https://github.com/AI4HealthUOL/SSSD