モデル選択

同義語 reduced model（還元モデル？）、proposed model(提案モデル？） いずれも邦訳は定まっていないため試訳である。 定義 提案モデル(proposed model)とは、説明変数の候補のうち一部のみを...

同義語 残差逸脱度(residual deviance) 定義 逸脱度(deviance)はモデルの当てはまり具合(quality-of-fit)を表す統計量である。 逸脱度はDと表記されることが多い。 逸脱度D = -2...

定義 尤度比(likelihood ratio)λとは以下の式で定義される数値である。 λ = パラメータ空間Ωの部分空間ω上での尤度関数の最大値 ÷ パラメータ空間Ω上での尤度関数の最大値 0 <= λ <=1の...

定義 null devianceとは、2 x (フルモデルの対数尤度 - 帰無モデルの対数尤度)である。 要するにnull devianceは帰無モデルの残差逸脱度である。 帰無モデルよりあてはまりの悪いモデルはない。フルモデ...

同義語 節約の原理 定義 （統計学における）オッカムの剃刀(Occam’s razor)とは、複数の予測力が同等のモデルが存在する場合、説明変数の数がより少ないものを優れているとみなすモデル選択の原則のことである。 実際にオッカ...

定義 【用法１】ネストしたモデル(nested model)間のモデル選択の文脈において フルモデルは最も多くの説明変数を含んだモデルのことである。 【用法２】オーバーフィッティングの文脈において フルモデル(full ...

定義 ２つの統計モデルがある時に、一方のモデルに含まれる説明変数のセットが他方のモデルの説明変数の部分集合になっている時、この２つのモデルをネストしたモデルと呼ぶ。 全ての説明変数を含むモデルを飽和モデル(saturated mod...

定義 BIC = -2l +log(n)d (l: ログ尤度の最大値、n:オブザベーション数、 d：推定される自由パラメータの数） AICよりもBICの方が、パラメータ数の数に対して強いペナルティを課している。 数学的には、...

定義 モデルのあてはまりの良さとは、実際のデータに対して、理論的仮説である統計モデルがどの程度あてはまっているかを示す概念である。 複数の定量的指標が定義されている。代表的なものを以下に挙げる。 goodness of fit...

同義語 過学習 定義 統計モデルのあてはめ(fitting)においては説明変数の数を増やせば増やすほど、モデルのあてはまりがよくなるという性質がある。しかし説明変数の数が多すぎるとそのモデルは将来の予測には役立たないものとなる。 ...

定義 ステップワイズ法は、多変量回帰分析において、最終モデルに投入する予測変数を自動選択するアルゴリズムである。 ステップワイズモデルは、因果モデルよりも、予測モデルを構築する際に意義があると考えられている。

定義 飽和モデル(saturated model)とは、全ての主効果に加え、考えられる全ての交互作用を含むモデルのことである。考えられる全ての交互作用の次数に制限はない（２次、３次・・・）。 飽和モデルは自由度０のモデルと言うことも...

定義 尤度比検定とは、ネスト関係にある２つのモデルの逸脱度(deviance)に有意差があるかどうかを検証する検定である。ネストの関係にないモデルの比較をすることはできない。 帰無仮説(H0) : ２つのモデルの逸脱度には有意差はな...

定義 適合度指標とはモデルとデータの当てはまり具合を数値で表す指標である。 適合度指標はモデルの全体的評価に用いられる。 適合度指標は「絶対的指標」と「相対的指標」に分類される。 絶対的指標とは、その数値に絶対的な基準値...

定義 AICは以下の式で計算される。 $$AIC=-2\log { L } +2k$$ L: 尤度、k：（推定される自由）パラメータの数。パラメータの数とはモデルに含まれる説明変数の数のことである。 モデル選択(mo...

同義語 empty model、mean model 定義 帰無モデルとは、説明変数を含まない、即ち切片のみからなる統計モデルのことである。言い換えれば、目的変数を説明変数なし（＝切片のみ）で回帰するモデルである。 null m...