オンライン機械学習を買いました

機械学習プロフェッショナルシリーズのオンライン機械学習を買いました.

– オンライン機械学習 (機械学習プロフェッショナルシリーズ)

さらさらっと4章まで読みました.だいぶ読めるようになっている自分に驚きを感じました.

印象はいい感じ.特に4.1章.オンライン学習の基礎となるアルゴリズムが紹介されている.ここのアイデアを日本語で知れるというだけでも買う価値があるかも.

個人的にはAROWやSCWの元になったであろうアイデア,Confidence Weighted Learning (CW) が重要な気がしている.これ,理解するのしんどいかも.なんとなくはわかるが深くはわからない,いつもの感じ.

オンライン学習で特に気をつけないといけないのが,ノイズ.今までうまくいっていたのに,たったひとつのノイズのせいで学習結果がめちゃくちゃになる,というのを避けたい.だから正則化を加える.基本的には今の解からそんなに離れないように正則化を加える.この考えをさらに発展させると,自信のないパラメータの次元に対しては積極的に学習するように,自信があるなら消極的に学習するようにさせたい.自信のある,ないは,推定したパラメータの分散(共分散行列)を求めればよい.これはアルゴリズム(ロス)によっては求めることが可能.ここで,平均が今のパラメータで分散共分散行列がそのパラメータの分散共分散である正規分布の確率密度関数を考える.これと近い正規分布を次のステップで求めるのだが,ここが謎.わかったらまた書きます(とかいうと書かない不思議).

とりあえずこれはいい買い物をしたと思う.深層学習も買いたいなあ.

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中