読者です 読者をやめる 読者になる 読者になる

old school magic

機械学習と統計とプログラミングについてちょっとずつ勉強していきます。

変分ベイズについての資料まとめ(随時更新)

機械学習

変分ベイズとは?

平均場近似、変分推論、ベイズ学習など様々な呼び方があります。

フリーで読める解説だとこれが一番わかりやすかったです。
自然言語処理のための変分ベイズ
http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf

CiNiiユーザならこのシリーズがおすすめです。
ベイズ学習[I] : 統計的学習の基礎
http://ci.nii.ac.jp/naid/110003230932/

PRML関連のまとめ

PRMLの第10章が変分ベイズについての話です。
とても詳しく説明されているのですが、かなり難し目です。
なのでそこを解説した記事のまとめです。

PRML 読書会 #13 10章 近似推論法(変分ベイズ) - Mi manca qualche giovedi`? http://d.hatena.ne.jp/n_shuyo/20100412/prml
変分ベイズの定式化から近似事後分布の導出まで(1) | AKI LAB.
http://www.nejicolab.com/akip/?p=124
動く変分混合ガウス分布(実装編)- 動く PRML シリーズ(2) - Next MIDI Project
http://d.hatena.ne.jp/chrofieyue/20111202/1322832021
パターン認識機械学習」に挑戦 その1 ベイズ理論あたり(8章から11章まで)(自分のブログです...)
http://breakbee.hatenablog.jp/entry/2013/11/07/160817

統計物理との関連性

平均場近似(変分ベイズのこと)は「統計物理」という分野で育ってきた手法なので、統計物理を学ぶことが理解の助けになるかもしれません。
分かりやすかったのをいくつか。

統計学における平均場近似 - つれづれな学習帳
http://d.hatena.ne.jp/det/20121218
物理学者でない人にとって平衡統計力学とは
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/jnns-2007.pdf

最近の応用

グラフィカルモデルを変分ベイズによって計算すると、サンプリングするより計算量を大幅に削減できます。
そういった方向性の研究が多いようで、最近盛んに研究されているDeep Learning等にも変分ベイズが応用されているそうです。
(でもDeep Learningに関する資料は載せてません。見つかったら載せます。)

映像奮闘記: ノンパラメトリック平均場近似と確率伝播法の提案
http://mglab.blogspot.jp/2013/12/blog-post.html
変分ベイズ学習理論の研究動向 - IBIS2013 プログラム詳細
http://ibisml.org/ibis2013/details/#60
ディリクレ過程混合モデルへの変分推論適用について(これも自分のブログですが...)
http://breakbee.hatenablog.jp/entry/2013/11/30/222553

※追記 変分ガウス分布と、変分ディリクレ過程ガウス混合モデルですが、python機械学習ライブラリであるscikit-learnに実装されています。詳しくはドキュメントをご参照ください。
2.1. Gaussian mixture models - scikit-learn
http://scikit-learn.org/stable/modules/mixture.html


変分ベイズの理論的な部分について

変分ベイズ法は「自由エネルギー」と呼ばれるものを最小化しています。
これは「対数周辺尤度」や「確率的複雑さ」と呼ばれるものだそうです。

自由エネルギーを最小化することがどういうことなのか、ということについて知っておくと理解が深まるかもしれません。

東京工業大学の渡辺澄夫先生のホームページに多くの情報が掲載されています。

渡辺澄夫先生のホームページ
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html
渡辺澄夫先生の講演などの記録
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/backnumber.html

いくつか参考になったページをリンクしますと、

最尤推定はいつなら大丈夫?
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/mlesafety.html
一般と特殊
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/general-special.html
初めてのベイズ学習
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/Bayestheory.html
変分ベイズ学習の理論
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/vbtheory.html
変分ベイズ学習理論入門
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/var-bay.pdf
初めてのWAICとWBIC
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/waicwbic_j.html

あたりがとても参考になりました。