目錄

挑選模型的方法

前言

如何判斷、比較多個模型,並從中選出對統計分析、機器學習最佳的那個呢?簡單的模型可能無法較好的擬合模型,而過於複雜的模型也可能出現「過擬合」,導致模型在未來資料上的預測能力不佳。

因此,我們急需一個準則用於比較模型的優劣,並在模型的擬合優度(goodness of fit)、簡潔性(parsimony)、預測能力(predictive power)之間取得平衡。為此,統計學家提出了許多模型選擇準則(model selection criteria),最著名的兩個是赤池訊息準則貝葉斯訊息準則

赤池訊息準則

赤池訊息準則(Akaike information criterion, AIC)是由日本統計學家赤池弘次在 1970 年代提出的一種通用模型選擇方法,旨在模型擬合度與模型簡潔性之間取得平衡。

AIC 以對數概似函數(log-likelihood function)為基礎,加入模型複雜度的懲罰項,防止模型因參數過多而過度擬合。其計算方式如下:

$$ \text{AIC} = -2\ln(L) + 2k, $$

其中, $\ln L$ 為模型的對數概似值, $L = f(y \mid \hat{\theta})$ 為最大概似估計下的模型機率密度函數值, $y$ 為模型的觀測資料(observations), $\theta$ 為模型參數向量, $\hat{\theta}$ 為 $\theta$ 為參數估計值。而在懲罰項中, $k$ 代表的是模型自由度(參數數量),是一種線性的懲罰項。

貝葉斯訊息準則

貝葉斯訊息準則(Bayesian information criterion, BIC)是由 Gideon E. Schwarz 在 1978 年於論文中提出的模型選擇準則,形式上與 AIC 類似,但在懲罰項的設計上更為嚴格。

BIC 同樣建立於模型的對數概似函數基礎上,不同之處在於其懲罰項會隨著樣本數增加而提高。其計算方式如下:

$$ \text{BIC} = -2\ln(L) + k \ln(n), $$

其中,$\ln L$ 為對數概似函數,$k$ 為模型參數數量,$n$ 為樣本數。相較於 AIC 的線性懲罰($2k$),BIC 採用 $\ln(n)$ 作為乘子,使得當樣本數較大時,更強調模型的簡約性。

BIC 在理論上可視為在貝葉斯框架下的模型比較方式,其假設真實模型存在於候選模型集合中,並利用近似貝葉斯因子進行比較。因此,BIC 更傾向於選擇參數較少的模型,適用於模型空間包含正確模型的情境。

AIC 與 BIC 比較

AIC 和 BIC 都是為模型在擬合程度與簡潔性之間打分數。AIC 採用固定的懲罰項 $2k$,而 BIC 則使用與樣本數 $n$ 有關的懲罰項 $k\ln(n)$,使得樣本越大,懲罰越重。

因此,相對於 AIC , BIC 對模型複雜度的懲罰更嚴格,且更不易接受複雜模型。

適用情境

AIC

  • 假設:不假設真實模型一定包含在候選模型集合中。
  • 優點:懲罰較輕,對小樣本較寬容,能捕捉較多變數,有利於提升預測表現。在樣本量大時,其平均預測誤差最小。
  • 缺點:不具一致性(not consistent),即使真實模型在候選集中,AIC 也不一定會在樣本變大時選中它。小樣本下容易偏好複雜模型、過度擬合。

BIC

  • 假設:候選模型集合中包含真實模型。
  • 優點:具備一致性(consistent),即當樣本數趨近無限時,BIC 選中的模型會收斂到真實模型。
  • 缺點:懲罰較重,小樣本下可能選擇過於簡單的模型,導致欠擬合,降低預測準確度。

總結

準則偏好類型預測能力模型一致性小樣本行為適合應用
AIC較複雜模型易過擬合預測、機器學習
BIC較簡單模型保守易過簡化擬合、變數選擇
提示
AIC 和 BIC 的值都以「越小越好」為原則。數值越小,表示該模型在平衡擬合度與簡潔性方面表現得越理想。

衍生準則

修正赤池訊息準則

修正赤池訊息準則(corrected Akaike information criterion, AICc)是 AIC 的小樣本修正版本。當樣本數 $n$ 相對於參數數量 $k$ 不夠大時,原始 AIC 容易低估模型複雜度懲罰。 AICc 透過加入一個校正項來修正這個偏誤:

$$ \begin{align*} \text{AICc} & = \text{AIC} + \frac{2k(k + 1)}{n - k - 1} \\ & = -2\ln(L) + 2k + \frac{2k(k + 1)}{n - k - 1}. \end{align*} $$

當 $n \gg k$ 時, AICc 幾乎等於 AIC ;但在小樣本情況下, AICc 能有效減少過度選擇複雜模型的風險。 AICc 廣泛應用於迴歸模型與時間序列模型中。

結語

關於模型選擇的準則有非常多種,這裡只介紹了其中幾種最基礎且常用的方法。每一種準則都會針對模型的不同面向產生不同的評價結果。因此,根據實際需求選擇適合的模型準則,並找到該情境下最合適的模型,是模型建構過程中非常重要的一環。

參考資料