old school magic

機械学習に関する備忘録です。

「パターン認識と機械学習」への遠回り 幕間 「統計を学ぶ際に心がけること」

統計学の目的の一つとして、「確率分布を推測する」というものがあります。
その確率分布を予測する方法として、最尤推定ベイズ推定などがあります。

統計を学んでいると、

  • 対数尤度を最大化すると良い予測になる
  • 対数周辺尤度*1を最大化すると良い予測になる

と出てきます(それぞれ最尤推定法とベイズ推定の一種である変分ベイズ法)。

そんな時ふいに、

  • どうして尤度最大化すると良いの?
  • 最尤推定ベイズ推定が良い保証はどこにあるの?

などと、迷ったり色々と勘違いしてしまうことがあると思います。*2

ですが、最尤推定ベイズ推定の比較は相当難しい話*3で、少なくとも統計学初学者がいきなりやれるような難易度ではないと思います。

個人的な意見ですが、分からないことがあった時、将来きっと分かると信じて勉強を進めていくのは大切な姿勢だと思います。
ですが、分からないことが勘違いの種にならないよう、用心しておいたほうがいいでしょう。

なので、最尤推定ベイズ推定の定義の違いをしっかりと理解し、どういった量を最適化しようとしているのか意識すれば、統計を学ぶ道中、とりあえず迷子にならずに済むのではないかと思います。

ちなみに、渡辺先生の本に、確率分布の推測方法やその精度の違いなどについて、詳しい説明が載っています。

ベイズ統計の理論と方法

ベイズ統計の理論と方法

タイトルではベイズ統計の本になっていますが、最尤推定ベイズ推定はどう違うか、どういう時に一致してどういう時に一致しないのか、ということ(=学習理論)についての本だと思います。*4
素晴らしい本なのですが、ものすごい難しいです(特に数学的な部分が)。3章くらいで一旦ギブアップしました。もうちょっと勉強が進んでからこの本に再挑戦したいと思います。

*1:紛らわしいことに対数尤度とは違う量です

*2:私は対数尤度と対数周辺尤度を混同していました。

*3:学習理論の領域だと思います

*4:もちろん、後半にベイズ統計の実現方法(変分ベイズMCMC)についての話題はちゃんと出てきます