trsing’s diary

勉強、読んだ本、仕事で調べたこととかのメモ。

PRML 5章演習問題　5.38～5.41

PRML 演習問題

5.38

wの周辺ガウス分布 q(w|D,\alpha)=N(w|w_{MAP},A^{-1})
と wが与えられた時のtの条件付きガウス分布 p(t|x,w,\beta)\simeq N(t|y(x,w_{MAP})-g^{T}w_{MAP}+g^{T}w,\beta^{-1})
より
\mu=w_{MAP},\,\Delta^{-1}=A^{-1},\,A=g^{T},\,b=y(x,w_{MAP})-g^{T}w_{MAP},\,L^{-1}=\beta^{-1} として(2.115)より
f:id:trsing:20190316124217p:plain

5.39

ラプラス近似により
f:id:trsing:20190316130737p:plain よって
f:id:trsing:20190316130822p:plain
※Aについて
\ln p(D|w,\beta)P(w|\alpha)= \ln \left|\frac{\beta}{2\pi}\right|^{N/2}+ \ln \left|\frac{\alpha}{2\pi}\right|^{W/2}- \frac{\beta}{2}\sum(y(x_{n},w)-t_{n})^{2} -\frac{\alpha}{2}w^{T}w=(5.165)
これと(4.132)よりAは(5.166)

5.40

Kクラスニューラルネットワークに対して、尤度関数は
$$ \prod_{n}^{N}\prod_{k}^{K}y_{k}(x_{n},w)^{t_{nk}} $$ となる。 これに対応する誤差関数は(5.24)。

事後確率に対し、重みについてラプラス近似を適用する。 ここで、(5.166)のヘッセ行列Hに対応するものは(5.24)から求められる。 (\nabla \nabla \sum\sum t_{nk}\ln y_{k}(x_{n},w_{MAP}))

同様に、(5.24)は正則化誤差関数(5.184)のバイナリ交差誤差の項 (-\sum\{t_{n}\ln y_{n}+(1-t_{n})\ln (1-y_{n})\}) を置き換える。

周辺化の結果は解析的ではないため、 新しいパターンに対する予測分布を近似する必要がある。 しかしながら、2クラス問題とは対照的に、ギブスが変わりの近似について議論したにもかかわらずこの近似の明確な候補はない。

5.41

ラプラス近似により
f:id:trsing:20190316140232p:plain
よって f:id:trsing:20190316140438p:plain
※Aについて
\ln p(D|w)P(w|\alpha)= \ln p(D|w)+ \ln \left|\frac{\alpha}{2\pi}\right|^{W/2} -\frac{\alpha}{2}w^{T}w\\ A=-\nabla_{w}\nabla_{w}\ln p(D|w)P(w|\alpha)|_{w=w_{MAP}}\\ =\alpha I -\nabla_{w}\nabla_{w}\ln p(D|w)|_{w=w_{MAP}}