old school magic

機械学習に関する備忘録です。

統計

回帰モデルにおけるL1正則化とL2正則化の効果

概要 回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。 回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。この形の正則化項を用いる回帰をブリッジ回帰と呼びます。 特に…

【書評】続・わかりやすいパターン認識 -教師なし学習入門-

続・わかりやすいパターン認識―教師なし学習入門―作者: 石井健一郎,上田修功出版社/メーカー: オーム社発売日: 2014/08/26メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る 概要 「続・わかりやすいパターン認識 -教師なし学習入門-」の…

機械学習を初めて勉強する人におすすめの入門書

概要 私が機械学習の勉強を始めた頃、何から手を付ければ良いのかよく分からず、とても悩んだ覚えがあります。同じような悩みを抱えている方の参考になればと思い、自分が勉強していった方法を記事にしたいと思います。目標としては、機械学習全般について、…

「パターン認識と機械学習」への遠回り その7 「データ解析のための統計モデリング入門」

データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (21件) を見る機械学習…

PyStanでMCMC入門

概要 PyStan は Stan というMCMC計算用言語の Python インターフェイスです。Stan http://mc-stan.org/PyStan http://pystan.readthedocs.org/en/latest/index.htmlMCMCを計算できるソフトはいくつかあるのですが、Stan は C++で実装されているため高速 最近…

PyMC3でMCMC入門(2)

概要 前回は、PyMC2 向けのチュートリアルを PyMC3 に書き換えることでPyMC3 に入門してみました。 今回は、PyMC3 のチュートリアルを見て、実際にモデルを記述する時どういった流れになるか見てみようと思います。 チュートリアル PyMC3 チュートリアル htt…

PyMC3でMCMC入門(1)

概要 先日、Tokyo.scipy というイベントがありました。Tokyo.scipyPython で科学技術計算を用いる方々の勉強会だそうです。 私は参加していないのですが、PyMC に関するセッションがあったそうです。 PyMCがあれば,ベイズ推定でもう泣いたりなんかしない サ…

Python3でPyMCのインストール

概要 PyMCはPythonのベイズ統計用ライブラリです。特にMCMCに重点を置いています。 Python3にPyMCを導入するのに割りと手こずったのでメモします。 参考になれば幸いです。 インストールの前準備 今回はPyMC version 3を試します。(まだalpha版です。) Pytho…

Pythonで一般化線形モデル

概要 統計の勉強の一環で、最近はこの本を読んでます。かなり分かりやすいです。データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: …

「パターン認識と機械学習」への遠回り 幕間 「統計を学ぶ際に心がけること」

統計学の目的の一つとして、「確率分布を推測する」というものがあります。 その確率分布を予測する方法として、最尤推定やベイズ推定などがあります。統計を学んでいると、 対数尤度を最大化すると良い予測になる 対数周辺尤度*1を最大化すると良い予測にな…

「パターン認識と機械学習」への遠回り その6 「図解・ベイズ統計「超」入門」

その1 フリーソフトで作る音声認識システム その2 自然言語処理のための機械学習入門 その3 はじめてのパターン認識 その4 キーポイント線形代数 幕間 機械学習と統計学 その5 キーポイント確率・統計図解・ベイズ統計「超」入門 あいまいなデータから未来を…

「パターン認識と機械学習」への遠回り その5 「キーポイント確率・統計」

その1 フリーソフトで作る音声認識システム その2 自然言語処理のための機械学習入門 その3 はじめてのパターン認識 その4 キーポイント線形代数 幕間 機械学習と統計学キーポイント確率統計 (理工系数学のキーポイント 6)作者: 和達三樹,十河清出版社/メー…

【書評】統計学 (サイエンス・パレット)

統計学 (サイエンス・パレット)作者: 上田修功出版社/メーカー: 丸善出版発売日: 2014/01/25メディア: 新書この商品を含むブログを見る統計学について、数式を用いないで説明した一冊です。統計(と確率)の基礎からデータの集め方・実験・結果の考察といった…