PRML 5章演習問題　5.1~5.7

5.1

演習問題3.1(3.100)を参照

5.2

f:id:trsing:20190112161344j:plain

5.3

$w$ に関する最尤推定解を見つけるための最小化すべき誤差関数 f:id:trsing:20190112161533j:plain

$\Sigma$ の最尤推定解 f:id:trsing:20190112161544j:plain ※ $$ \frac{\partial \ln|X|}{\partial X}=(X^{^1})^{T},\,\frac{\partial a^{T}X^{-1}b}{\partial X}=-(X^{-1})^{T}ab^{T}(X^{-1})^{-T} $$ を用いた。

5.4

$p(t=1|x,w)$ は[ クラス1にクラス1のラベルを付ける確率]と[クラス2にクラス1のラベルを付ける確率]を足し合わせたものなので
$p(t=1|x,w)=(1-\epsilon)y+\epsilon (1-y)\\ p(t|x,w)=y^{t}(1-y(x,w))^{1-t}=(\epsilon+(1-\epsilon)y)^{t}((1-\epsilon)-(1-2\epsilon)y)^{1-t}$
よって誤差関数は
$E(w)=-\sum [ t_{n}\ln(\epsilon+(1-\epsilon)y_{n})+(1-t_{n})\ln((1-\epsilon)-(1-2\epsilon)y_{n})$ ]

5.5

$p(t|w)=\prod_{k=1}^{K} y_{k}(x,w)^{t_{k}}\\ p(T|w)=\prod_{n=1}^{N}\prod_{k=1}^{K} y_{nk}(x_{n},w)^{t_{nk}}$
負の対数尤度を取ると
$-\ln\prod_{n=1}^{N}\prod_{k=1}^{K} y_{nk}^{t_{nk}} =-\sum_{n=1}^{N}\sum_{k=1}^{K} t_{nk}\ln y_{nk}$