挑選模型的方法

前言
如何判斷、比較多個模型,並從中選出對統計分析、機器學習最佳的那個呢?簡單的模型可能無法較好的擬合模型,而過於複雜的模型也可能出現「過擬合」,導致模型在未來資料上的預測能力不佳。
因此,我們急需一個準則用於比較模型的優劣,並在模型的擬合優度(goodness of fit)、簡潔性(parsimony)、預測能力(predictive power)之間取得平衡。為此,統計學家提出了許多模型選擇準則(model selection criteria),最著名的兩個是赤池訊息準則和貝葉斯訊息準則。
赤池訊息準則
赤池訊息準則(Akaike information criterion, AIC)是由日本統計學家赤池弘次在 1970 年代提出的一種通用模型選擇方法,旨在模型擬合度與模型簡潔性之間取得平衡。
AIC 以對數概似函數(log-likelihood function)為基礎,加入模型複雜度的懲罰項,防止模型因參數過多而過度擬合。其計算方式如下:
$$ \text{AIC} = -2\ln(L) + 2k, $$
其中, $\ln L$ 為模型的對數概似值, $L = f(y \mid \hat{\theta})$ 為最大概似估計下的模型機率密度函數值, $y$ 為模型的觀測資料(observations), $\theta$ 為模型參數向量, $\hat{\theta}$ 為 $\theta$ 為參數估計值。而在懲罰項中, $k$ 代表的是模型自由度(參數數量),是一種線性的懲罰項。
貝葉斯訊息準則
貝葉斯訊息準則(Bayesian information criterion, BIC)是由 Gideon E. Schwarz 在 1978 年於論文中提出的模型選擇準則,形式上與 AIC 類似,但在懲罰項的設計上更為嚴格。
BIC 同樣建立於模型的對數概似函數基礎上,不同之處在於其懲罰項會隨著樣本數增加而提高。其計算方式如下:
$$ \text{BIC} = -2\ln(L) + k \ln(n), $$
其中,$\ln L$ 為對數概似函數,$k$ 為模型參數數量,$n$ 為樣本數。相較於 AIC 的線性懲罰($2k$),BIC 採用 $\ln(n)$ 作為乘子,使得當樣本數較大時,更強調模型的簡約性。
BIC 在理論上可視為在貝葉斯框架下的模型比較方式,其假設真實模型存在於候選模型集合中,並利用近似貝葉斯因子進行比較。因此,BIC 更傾向於選擇參數較少的模型,適用於模型空間包含正確模型的情境。
AIC 與 BIC 比較
AIC 和 BIC 都是為模型在擬合程度與簡潔性之間打分數。AIC 採用固定的懲罰項 $2k$,而 BIC 則使用與樣本數 $n$ 有關的懲罰項 $k\ln(n)$,使得樣本越大,懲罰越重。
因此,相對於 AIC , BIC 對模型複雜度的懲罰更嚴格,且更不易接受複雜模型。
適用情境
AIC
- 假設:不假設真實模型一定包含在候選模型集合中。
- 優點:懲罰較輕,對小樣本較寬容,能捕捉較多變數,有利於提升預測表現。在樣本量大時,其平均預測誤差最小。
- 缺點:不具一致性(not consistent),即使真實模型在候選集中,AIC 也不一定會在樣本變大時選中它。小樣本下容易偏好複雜模型、過度擬合。
BIC
- 假設:候選模型集合中包含真實模型。
- 優點:具備一致性(consistent),即當樣本數趨近無限時,BIC 選中的模型會收斂到真實模型。
- 缺點:懲罰較重,小樣本下可能選擇過於簡單的模型,導致欠擬合,降低預測準確度。
總結
準則 | 偏好類型 | 預測能力 | 模型一致性 | 小樣本行為 | 適合應用 |
---|---|---|---|---|---|
AIC | 較複雜模型 | 高 | 否 | 易過擬合 | 預測、機器學習 |
BIC | 較簡單模型 | 保守 | 是 | 易過簡化 | 擬合、變數選擇 |
衍生準則
修正赤池訊息準則
修正赤池訊息準則(corrected Akaike information criterion, AICc)是 AIC 的小樣本修正版本。當樣本數 $n$ 相對於參數數量 $k$ 不夠大時,原始 AIC 容易低估模型複雜度懲罰。 AICc 透過加入一個校正項來修正這個偏誤:
$$ \begin{align*} \text{AICc} & = \text{AIC} + \frac{2k(k + 1)}{n - k - 1} \\ & = -2\ln(L) + 2k + \frac{2k(k + 1)}{n - k - 1}. \end{align*} $$
當 $n \gg k$ 時, AICc 幾乎等於 AIC ;但在小樣本情況下, AICc 能有效減少過度選擇複雜模型的風險。 AICc 廣泛應用於迴歸模型與時間序列模型中。
結語
關於模型選擇的準則有非常多種,這裡只介紹了其中幾種最基礎且常用的方法。每一種準則都會針對模型的不同面向產生不同的評價結果。因此,根據實際需求選擇適合的模型準則,並找到該情境下最合適的模型,是模型建構過程中非常重要的一環。
參考資料
擬合優度。(2023年10月21日)。維基百科,自由的百科全書。2025年7月20日參考自 https://zh.wikipedia.org/zh-tw/拟合优度
赤池資訊量準則。(2025年7月19日)。維基百科,自由的百科全書。2025年7月20日參考自 https://zh.wikipedia.org/wiki/赤池信息量准则
赤池弘次。(2025年2月12日)。維基百科,自由的百科全書。2025年7月20日參考自 https://ja.wikipedia.org/wiki/赤池弘次
Bayesian information criterion。(2025年4月17日)。維基百科,自由的百科全書。2025年7月20日參考自 https://en.wikipedia.org/wiki/Bayesian_information_criterion