MCMC(Markov Chain Monte Carlo methods)

定義

MCMCとは、ベイズ統計モデリングにおける事後確率(パラメータの確率分布)を推定する方法(アイディア)である。具体的には、事後分布p(θ|Y)に比例する分布であるp(Y|θ)p(θ)から乱数サンプルを多数発生させて事後分布の代わりとするのがMCMCである。

統計モデリングに占める役割で言えば、頻度論に基づく統計モデリングにおける最尤推定法などのパラメータ推定法に対応するもの(ベイズ版)である。

MCMCのアルゴリズム

MCMCを実現するアルゴリズムは複数ある。代表的なものを以下に挙げる。

  • メトロポリス・ヘイスティングス法(Metropolis-Hastings algorithm)
  • ギブスサンプリング(Gibbs sampling)
  • NUTS(No-U-Turn Sampler、ナッツ)
  • ADVI (Automatic Differentiation Variational Inference)

MCMCサンプリングを行うソフトウェア

MCMCの計算処理(サンプリングと呼ぶ)を実行するソフトウェアの代表的なものを以下に挙げる。

  • Stan
  • WinBugs
  • JAGS

今日、最も優れていると考えられるのはStanと思われる。

コメント