重回帰分析 重回帰(multiple linear regression)
定義重回帰(multiple linear regression)とは、説明変数が２つ以上ある回帰のことである。モデル式は以下の通り。y = β0 + ΣβiXi + ε(y:目的変数、Xi:説明変数、βi:回帰係数、ε:ノイズ)β0は回帰...
重回帰分析
重回帰分析 重回帰分析 VIF(variance inflation factor)
同義語分散拡大要因(variance inflation factor ; VIF)定義VIF(X) = 1/(1 – R^2)VIF(variance inflation factor)は多重共線性(multicollinearity)の...
重回帰分析 対数尤度(log likelihood)
定義対数尤度(log likehood)とは尤度(likelihood)の対数のことである。わざわざ尤度（ないし尤度関数）の対数を取るのは、そうすることでその後の数式処理が楽になるからである。具体的には尤度関数は積の形で表されるが、その対数...
重回帰分析 デザインマトリックス (design matrix)
同義語regressor matrix（リグレッサーマトリックス）, model matrix（モデルマトリックス）定義デザインマトリックスとは、説明変数をまとめたマトリックス（行列）のことである。しばしばXと表記される。具体的には１行が１...
重回帰分析 尤度(likelihood)
定義尤度（正確には、あるデータのあるモデルに対する尤度）とは、モデルのあてはまりの良さ(goodness of fit)（正確には、あるデータに対するあるモデルのあてはまりの良さ）を定量的に示す数値のことである。尤度とoverfitting...
重回帰分析 baseline codification
定義複数の水準を持つ因子型変数を説明変数として持つ統計モデルを多変量解析で扱うためには、その因子型変数をダミー変数に変換する必要がある。baseline codificationはダミー変数に変換する方法の１つであり、最もよく使用されるもの...
重回帰分析 層別解析と多変量回帰分析の使い分け
ロスマンによれば、疫学における主要な分析方法は層別解析であり、多変量解析は補助的手段である。層別解析では扱えないほど交絡因子が多い場合、多変量解析はよい道具である。しかし交絡因子だと思ったものが実際に重要な交絡因子であるかどうかは、実際のデ...
重回帰分析 擬似相関 (spurious correlation)
定義擬似相関(spurious correlation)とは、実質科学的な意味での関係性がないにも関わらず、変数間に現れる見かけ上の相関のことである。変数xと変数yに擬似相関が生じる原因となるのは、変数x、y双方と相関を持つ変数zの存在であ...
重回帰分析 重回帰分析における統計的推測の前提条件（仮定）
重回帰分析における統計的推測の前提条件は、説明変数で目的変数を予測した時の残差が正規分布（平均０、分散一定）に従うというものである。なお、説明変数や目的変数には正規分布は仮定されていない。関連一般線形モデルの仮定
重回帰分析 抑制変数
定義重回帰分析においては、目的変数と直接には無相関な変数を説明変数に加える事でモデル全体の分散説明率を高められることがある。このような目的変数と直接には無相関であるにも関わらず、説明変数としてモデルの分散説明率を高める変数を抑制変数と呼ぶ。...
重回帰分析 標準偏回帰係数
標準回帰係数は、目的変数と説明変数を全てz得点に変換した上で求めた偏回帰係数である。偏回帰係数をb1, b2 , ...、対応する標準偏回帰係数をb1*, b2*, ...と表記することにする。線形予測子として、y = b0 + b1x1 ...
重回帰分析 自由度調整済み重相関係数
一般に独立変数の数を増やせば増やすほど、母集団の重相関係数は過大評価されやすいことが知られている。これを補正したものが「自由度調整済み重相関係数」である。
重回帰分析 偏相関係数と部分相関係数
定義（単純）相関変数は２つの量的変数間の関係性を評価する指標である。これに対し、偏相関係数と部分相関係数は、３つ以上の変数がある場合に、この中から取り出した２変数の相関係数であるが、２変数の単純相関係数ではなく、第３の変数の影響を除外して考...
重回帰分析 多重共線性(multicollinearity)
同義語マルチコ定義多重共線性(multicollinearity)とは、重回帰分析において予測変数間の相関が高すぎる状態のことである。多重共線性を含む直線回帰モデルでは、その予測値は安定しているが、回帰係数の推定量が不安定（大きさや時に符合...
重回帰分析 重回帰分析における各独立変数の有意性の検定
帰無仮説２通りの表現が可能であるが、数理的な内容は同一である。(1) 母集団において全ての独立変数を用いて予測した時の重相関係数と、ある変数(例えばx1)を除外してその他の全ての変数を使って予測した時の重相関係数は等しい。(2) 母集団にお...
重回帰分析 重相関係数の有意性の検定
帰無仮説：母集団の重相関係数はゼロである検定統計量：F値(分子の自由度df1=p、分母の自由度df2=N-p-1)F = (R2/p) / {(1-R2)/(N-p-1)}ここでpは独立変数の個数、Nはサンプル数(=レコード数)である。
重回帰分析 重相関係数R (multiple R-squared)
重相関係数とは、従属変数yとその予測値y_hatとの相関係数である。Rと表記されるのが一般的である。関連自由度調整済み重相関係数(adjusted multiple R-squared)重相関係数の有意性の検定R2は「分散説明率」と呼ばれる...