[latexpage]
定義
最小二乗法(least square method)とは、統計モデルのパラメータ推定法の１つである。即ち統計モデルに基づく予測値と実測値の差が最小になるパラメータ値を計算し、これをパラメータの推定値とする方法である。
一般線形モデルにおける例
一般線形モデルは以下のように書き下ろすことができる。
$$
{ \widehat { y } }=\widehat { { \beta }_{ 0 } } +\widehat { { \beta }_{ 1 } } { x }_{ 1i }+\dots +\widehat { { \beta }_{ n } } { x }_{ 1n }
$$
$$
{ \varepsilon }_{ i }={ y }_{ i }-{ \widehat { { y }_{ i } } = }{ y }_{ i }- (\widehat { { \beta }_{ 0 } } +\widehat { { \beta }_{ 1 } } { x }_{ 1i }+\dots +\widehat { { \beta }_{ n } } { x }_{ 1n })
$$
残差平方和(residual sum of squares : RSS)は以下の式で定義される量である。
$$
RSS=\sum _{ i=1 }^{ n }{ { \left( { \varepsilon }_{ i } \right) }^{ 2 } } =\sum _{ i=1 }^{ n }{ { \left\{ { y }_{ i }- (\widehat { { \beta }_{ 0 } } +\widehat { { \beta }_{ 1 } } { x }_{ 1i }+\dots +\widehat { { \beta }_{ n } } { x }_{ 1n }) \right\} }^{ 2 } }
$$
このRSSが最小となるパラメータの値を偏微分を持ちして求めることが、最小二乗法の実体である。
関連
残差平方和(residual sum of squares : RSS)
コメント