old school magic

機械学習に関する備忘録です。

変分ベイズについての資料まとめ(随時更新)

変分ベイズとは?

平均場近似、変分推論、ベイズ学習など様々な呼び方があります。

フリーで読める解説だとこれが一番わかりやすかったです。
自然言語処理のための変分ベイズ
http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf

CiNiiユーザならこのシリーズがおすすめです。
ベイズ学習[I] : 統計的学習の基礎
http://ci.nii.ac.jp/naid/110003230932/

PRML関連のまとめ

PRMLの第10章が変分ベイズについての話です。
とても詳しく説明されているのですが、かなり難し目です。
なのでそこを解説した記事のまとめです。

PRML 読書会 #13 10章 近似推論法(変分ベイズ) - Mi manca qualche giovedi`? http://d.hatena.ne.jp/n_shuyo/20100412/prml
変分ベイズの定式化から近似事後分布の導出まで(1) | AKI LAB.
http://www.nejicolab.com/akip/?p=124
動く変分混合ガウス分布(実装編)- 動く PRML シリーズ(2) - Next MIDI Project
http://d.hatena.ne.jp/chrofieyue/20111202/1322832021
パターン認識機械学習」に挑戦 その1 ベイズ理論あたり(8章から11章まで)(自分のブログです...)
http://breakbee.hatenablog.jp/entry/2013/11/07/160817

統計物理との関連性

平均場近似(変分ベイズのこと)は「統計物理」という分野で育ってきた手法なので、統計物理を学ぶことが理解の助けになるかもしれません。
分かりやすかったのをいくつか。

統計学における平均場近似 - つれづれな学習帳
http://d.hatena.ne.jp/det/20121218
物理学者でない人にとって平衡統計力学とは
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/jnns-2007.pdf

最近の応用

グラフィカルモデルを変分ベイズによって計算すると、サンプリングするより計算量を大幅に削減できます。
そういった方向性の研究が多いようで、最近盛んに研究されているDeep Learning等にも変分ベイズが応用されているそうです。
(でもDeep Learningに関する資料は載せてません。見つかったら載せます。)

映像奮闘記: ノンパラメトリック平均場近似と確率伝播法の提案
http://mglab.blogspot.jp/2013/12/blog-post.html
変分ベイズ学習理論の研究動向 - IBIS2013 プログラム詳細
http://ibisml.org/ibis2013/details/#60
ディリクレ過程混合モデルへの変分推論適用について(これも自分のブログですが...)
http://breakbee.hatenablog.jp/entry/2013/11/30/222553

※追記 変分ガウス分布と、変分ディリクレ過程ガウス混合モデルですが、python機械学習ライブラリであるscikit-learnに実装されています。詳しくはドキュメントをご参照ください。
2.1. Gaussian mixture models - scikit-learn
http://scikit-learn.org/stable/modules/mixture.html


変分ベイズの理論的な部分について

変分ベイズ法は「自由エネルギー」と呼ばれるものを最小化しています。
これは「対数周辺尤度」や「確率的複雑さ」と呼ばれるものだそうです。

自由エネルギーを最小化することがどういうことなのか、ということについて知っておくと理解が深まるかもしれません。

東京工業大学の渡辺澄夫先生のホームページに多くの情報が掲載されています。

渡辺澄夫先生のホームページ
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html
渡辺澄夫先生の講演などの記録
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/backnumber.html

いくつか参考になったページをリンクしますと、

最尤推定はいつなら大丈夫?
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/mlesafety.html
一般と特殊
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/general-special.html
初めてのベイズ学習
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/Bayestheory.html
変分ベイズ学習の理論
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/vbtheory.html
変分ベイズ学習理論入門
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/var-bay.pdf
初めてのWAICとWBIC
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/waicwbic_j.html

あたりがとても参考になりました。