word2vecの欠点

最近流行っているword2vec.使ってみました.感想は「おお,なんかすごい」というものです.

分布説というものがあるらしい.これは「単語の意味はその周辺単語で決まる」というもの.word2vecもこの考えにいくらか従っているんだと思う.word2vecの詳細を読んでないので知らないけど.

word2vecの欠点だと思うのはtransductiveだということ.つまり,コーパスに出現しなかった単語のベクトル表現は得られない.あと,これはunsupervisedの宿命なのだが,欲しいベクトル表現が簡単には得られないということもある.普通はある程度supervisionを入れてsemi-supervisedで学習する,なんてことを試みるのが現実的だが,word2vecのsemi-supervised版はまだない(僕の知るかぎりでは).じゃあ欲しいベクトル表現を得るにはどうしたらいいか.欲しいっていうのはアプリケーションに依存するのでそれをまず決めて,コーパスを探す→学習をやりながらパラメータを決めていくんだと思う.でも,学習に死ぬほど時間がかかる.企業みたいに化け物マシンがあれば話は別だけど,普通そんなものはない.

次に単語間の類似度だけが欲しい場合.ベクトル表現を得るのは類似度を得るより一般的な問題だと言える.なぜならベクトル表現がわかればコサイン類似度などが計算できるが,類似度がわかってもベクトル表現はわからないからだ.一般的な問題は限定的な問題より解くのが難しい場合が多い.類似度だけ欲しい場合は,距離学習,特に半教師付き距離学習をおすすめする(個人的には).

でもword2vecがすごいことには違いない.最近は半教師付き学習がかなり実用的なことを身をもって知ったので,僕的には半教師版が早く出て欲しいなあと思っている.

– http://www.slideshare.net/bollegala/ss-39065162

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中