定義
尤度（正確には、あるデータのあるモデルに対する尤度）とは、モデルのあてはまりの良さ(goodness of fit)（正確には、あるデータに対するあるモデルのあてはまりの良さ）を定量的に示す数値のことである。
尤度とoverfittingの関係
モデルに含まれる予測変数の数が増えれば、そのモデルの尤度も改善するという性質がある。説明変数の数をどんどん増やしたモデルを作れば、そのモデルの現在のデータセットに対するあてはまりはどんどん改善するが、別のデータセットに対してはあてはまりが悪いという困った問題が出現する。この減少をoverfittingと呼ぶ。overfittingの問題を回避するために、説明変数を追加することにペナルティーを課す情報基準量というものが考案されている。
代表的な情報基準量にAIC(Akaike information criteria)とBIC(Bayesian information criteria)がある。
コメント