PRML 4章演習問題 4.12～4.18

4.12

$\frac{d\sigma(a)}{da}=\frac{-\{\exp(-a)\}'}{\{1+\exp(-a)\}^2} =\frac{\exp(-a)}{\{1+\exp(-a)\}^2} =\frac{1}{1+\exp(-a)}\frac{1+\exp(-a)-1}{1+\exp(-a)} =\sigma(a)(1-\sigma(a))$

4.13

$\frac{d y_{n}}{dw}=\frac{d \sigma(w^{T}\phi_{n})}{dw} =\frac{d \sigma(a)}{da}\frac{d a}{dw} =\sigma(1-\sigma)\phi_{n} =y_{n}(1-y_{n})\phi_{n}$ $\frac{dE(w)}{dw}=-\sum \frac{d}{dw}\{t_{n}\ln y_{n}+(1-t_{n})\ln(1-y_{n})\} =-\sum \{t_{n}\frac{1}{y_{n}}\sigma(1-\sigma)\phi_{n}-(1-t_{n})\frac{1}{1-y_{n}}\sigma(1-\sigma)\phi_{n}\}\\ \hspace{15pt} =-\sum \{t_{n}(1-y_{n})\phi_{n}-(1-t_{n})y_{n}\phi_{n}\} =\sum(y_{n}-t_{n})\phi_{n}$

4.14

線形分離可能であれば、 $t_{n}=1$ のとき $w^{T}\phi(x)\geq0$ 、それ以外では $w^{T}\phi(x)$ < $0$ 。よってベクトル $w$ は決定境界 $w^{T}\phi(x)=0$ を満足する。
(4.90)より負の対数尤度はすべての $t_{n}$ に対して $y_{n}=\sigma(w^{T}\phi_{n})=t_{n}$ のとき最小化される。 $t_{n}=0,1$ より最小化するには $w^{T}\phi_{n}\to\pm\infty$ 。よって $|w|$ は無限となる。

解答見ながら。わかるようなわからないような。

4.15

・ヘッセ行列Hが正定値行列であることを示せ。 $u^{T}\Phi^{T}R\Phi u=(R^{1/2}\Phi u)^{T}(R^{1/2}\Phi u)=||R^{1/2}\Phi u||^{2}>0$
ここで $R_{nn}^{1/2}=\sqrt{y_{n}(1-y_{n})}>0$
$\Phi u$ は基底関数の線形結合より非ゼロ。

・誤差関数はwの凸関数であり、唯一の最小解を持つことを示せ。
極小値 $w^{\ast}$ でテイラー展開すると
$E(w)=E(w^{\ast})+1/2(w-w^{\ast})^{T}H(w-w^{\ast})$ 　　極小値なので一次項は現れない。
任意の非ゼロベクトル $v$ を用いて $w=w^{\ast}+\lambda v$ とおくと
$\frac{\partial^{2}E(w)}{\partial \lambda^{2}}=v^{T}Hv>0$
これは $E(w)$ が凸であることを示す。
$E(w)$ の極小値において $H(w-w^{\ast})=0$ 。正定値なので $H^{-1}$ が存在し、 $w=w^{\ast}$ は唯一の極小値である。

解答見ながら。後半はあまり理解できてない。

4.16

クラスラベル $t_{n}$ の代わりに $\pi_{n}$ 、確率モデル $p(t=1|\phi)$ より、

$p(t_{n})=p(t_{n}=1|\phi_{n})^{\pi_{n}}\{1-p(t_{n}=1|\phi_{n})\}^{1-\pi_{n}}$
データ集合に適切な対数尤度関数は $-\sum\{\pi_{n}\ln p(tt_{n}=1|\phi_{n})+(1-\pi_{n})\ln\{1-p(t_{n}=1|\phi_{n})\}\}$