PRML 5章演習問題　5.8~5.13

5.8

$\tanh(a)=2\sigma(2a)-1,\, \frac{d \sigma}{d a}=\sigma(1-\sigma)$
より
$\frac{d \tanh}{d a}=4\sigma(2a)(1-\sigma(2a))=2(\tanh(a)+1)(1/2-1/2\tanh(a))=1-\tanh^{2}(a)$

5.9

(5.20)の形式にするためにはy,nともに1足して2で割ればよいので
$p(t|x,y)=\frac{y+1}{2}^{\frac{t+1}{2}}(1-\frac{y+1}{2})^{1-\frac{t+1}{2}}= \frac{y+1}{2}^{\frac{t+1}{2}}(\frac{1-y}{2})^{\frac{1-t}{2}}$
よって誤差関数は
$E(w)=-\sum[\frac{t_{n}+1}{2}\ln\frac{y_{n}+1}{2}+\frac{1-t_{n}}{2}\ln\frac{1-y_{n}}{2}] \\ \hspace{20pt}=-\frac{1}{2}\sum[(t_{n}+1)\ln(y_{n}+1)+(1-t_{n})\ln(1-y_{n})]+N\ln2$
出力ユニットのの活性化関数は2倍して1引けばよいので
$y(a)=2\sigma(a)-1=\tanh(\frac{a}{2})$ 。

5.10

$v=u_{i}$ とおく。このとき $v^{T}Hv=\lambda_{i}$ 。

・すべての固有値が正なら $H$ は正定値
すべての固有値が正なら $v^{T}Hv=\lambda_{i}$ > $0$ となり $H$ は正定値。

・ $H$ が正定値ならすべての固有値は正
$H$ が正定値とすると $v^{T}Hv=\lambda_{i}$ > $0$ であるため、すべての固有値 $\lambda_{i}$ > $0$ 。

すべての $v\neq 0$ に対して(5.39)が得られる。(5.39)に対しても同様に考えることができる。よって $H$ はすべての固有値が正のとき、またそのときに限り正定値となる。

5.11

$w=\sum\alpha_{i}u_{i},\,w^{\ast}=\sum\beta_{i}u_{i}$ とおくと、 $$ E(w)=E(w^{\ast})+\frac{1}{2}\sum\lambda_{i}(\alpha_{i}-\beta_{i})^{2}=Const\\ \sum\lambda_{i}(\alpha_{i}^{2}-\beta_{i})^{2}=2(Const-E(w^{\ast}))=Const'\\ \sum\frac{(\alpha_{i}-\beta_{i})^{2}}{\frac{Const'}{\lambda_{i}}} =1 $$
これは $u_{i}$ を軸とする楕円の式で各軸長は $\sqrt{\frac{Const'}{\lambda_{i}}}$ 。