多項分布(重要)

性質

ベルヌーイ試行は得られる結果が2通りだと仮定したが、これがm通りだとすると得られる結果はm個となる。 この試行(隠された試行)をN回繰り返す、という試行の結果を近似するのが多項分布である。
隠された試行において、得られる事象をE_{1}, \ldots, E_{m}とすると、その発生確率ベクトル{\bf \theta} = [\theta_{1}, \ldots, \theta_{m}](ただしpiはEiの発生確率)がパラメータとなる。
試行の結果はどうとでも書くことができるが、ここではE_{1}, \ldots, E_{m}の発生回数のベクトル{\bf n}=[n_{1}, \ldots, n_{m}](ただし、niはEiの発生回数)とする。この{\bf n}はぱっと見m!通りあるのかな?
これを確率変数と見なす。当然この確率変数は\sum^{m}_{i=1}n_{i}=1, n_{i} \geq 0 \forall i をみたす。
試行回数をN、パラメータを{\bf \theta}とした多項分布の確率関数は以下となる。

\displaystyle  Multinominal({\bf n};{\bf \theta}) = \frac{N!}{\prod^{m}_{i=1}n_{i}!}\prod^{m}_{i=1}\theta_{i}^{n_{i}}

係数部の考え方はn1回E1が発生して、N-n1回それ以外が発生する、というのを繰り返して行く、というものなので式に表してみました。

\displaystyle  {}_{N} C_{n_{1}} \times  {}_{N-n_{1}} C_{n_{2}} \times  {}_{N-n_{1}-n_{2}} C_{n_{3}} \times \ldots \times {}_{N-\ldots -n_{i-1}} C_{n_{i}} \times \ldots \times {}_{N-\ldots -n_{m-1}} C_{n_{m}}\\ =  \frac{N!}{n_{1}!(N-n_{1})!} \times \frac{(N-n_{1})!}{n_{2}!(N-n_{1}-n_{2})!} \times \ldots \times \frac{(N-\ldots -n_{i-1})!}{n_{i}!(N-\ldots -n_{i})!} \times \ldots \times \frac{(N-\ldots -n_{m-2})!}{n_{m-1}!(N-\ldots -n_{m-1}!)} \times \frac{(N-\ldots -n_{m-1})!}{n_{m}!(N-\ldots -n_{m}!)} \times \\ =\frac{N!}{n_{1} \times \ldots \times n_{m} \times 0!} \\ =\frac{N!}{\prod^{m}_{i=1}n_{i}!}

多項分布はいろいろな例を考えることができる。これは楽しい。
例として、

を挙げておく。 他にもおもしろい例があれば何か書きたい。

ひとりごと

非常に重要な分布である多項分布について書いた。言語処理では多項分布は頻出であるが、暗黙のうち仮定されていることが多く、僕も最近まで軽視していた。が、ほとんど多項分布を仮定しているので、これを理解すると読書などがはかどりそうだ。次はなにを書こう。気になるのはベクトルの勾配の話かなぁ。勾配上ったら局所的最適解にたどり着くらしいけど、なんで?って感じなんですよね笑。そんな魔法みたいな話、まだ信じられないんです笑。

コメントを残す

以下に詳細を記入するか、アイコンをクリックしてログインしてください。

WordPress.com ロゴ

WordPress.com アカウントを使ってコメントしています。 ログアウト / 変更 )

Twitter 画像

Twitter アカウントを使ってコメントしています。 ログアウト / 変更 )

Facebook の写真

Facebook アカウントを使ってコメントしています。 ログアウト / 変更 )

Google+ フォト

Google+ アカウントを使ってコメントしています。 ログアウト / 変更 )

%s と連携中