PRMLメモ　2章　～2.1.1 - trsing’s diary

PRMLお勉強中。メモ。

第二章確率分布

観測データ集合に基づいて適切なパラメータの値を決める

頻度主義：尤度関数を最適化してパラメータの値を決める。

ベイズ主義：事前分布を導入。観測データが与えられたときのパラメータの事後分布を計算する。

2.1二値変数

$x$ は0,1しかとらないことに注意。

十分統計量：パラメータを決めるのに十分な観測値？

2.1.1ベータ分布

二項分布をベイズ主義的に扱うためにパラメータ $\mu$ の事前分布 $p(\mu)$ を導入する。

・事後分布は事前分布と尤度関数( $\mu^x(1-\mu)^{1-x}$ )の積に比例する

・事前分布を尤度関数と同じような形式とすれば事後分布は事前分布と同じ形式になる(共役性)ので取り扱いやすい

→ベータ分布を事前分布とする

※事前分布が都合のよい形式になるように決めた。

(2.17) $p(\mu|m,l,a,b)=\frac{p(m,l|\mu,a,b)p(\mu|a,b)}{p(m,l,a,b)}$

※ $p(m,l|\mu,a,b)：尤度関数、p(\mu|a,b)：事前分布、m,l：観測値、a,b：超パラメータ$

ごちゃごちゃ文字が増えてるけどそれぞれ何を意味してるのか(何がパラメータで何が観測値)なのか注意

(2.19) $\mathcal D→\mu→xだからp(x=1|\mu)p(\mu|\mathcal D)。\mu$ は確率なのでその範囲を積分。という解釈でいいのかな？