5.24

重みとバイアスを(5.116),(5.117)と線形変換したものに(5.115)を入力すると、

$\displaystyle{ \sum \tilde{w}_{ji}\tilde{x}_{i}+\tilde{w}_{j0}=\sum \frac{1}{a}w_{ji}(ax_{i}+b)+w_{j0}-\frac{b}{a}\sum w_{ji}\\ \hspace{30pt}= \sum w_{ji}x_{i}+w_{j0}+ \frac{b}{a}\sum w_{ji}-\frac{b}{a}\sum w_{ji}\\ \hspace{30pt}= \sum w_{ji}x_{i}+w_{j0} }$
(5.113)と比較すれば同じであることがわかる

(5.119),(5.120)の変換を行うと出力は
$\displaystyle{ \sum \tilde{w}_{kj}z_{j}+\tilde{w}_{k0}= \sum c w_{kj}z_{j}+cw_{k0}+d\\ \hspace{30pt}= c(\sum w_{kj}z_{j}+w_{k0})+d\\ \hspace{30pt}= cy_{k}+d }$

5.25

まず、
$\displaystyle \nabla E=\nabla E_{0}+\frac{1}{2}\nabla (w-w^{\ast})^{T}H(w-w^{\ast}) =H(w-w^{\ast})$
よって(5.196)は
$\displaystyle{ w^{(\tau)}=w^{(\tau-1)}-\rho H(w^{(\tau-1)}-w^{\ast}) }$
$\displaystyle{ w_{j}^{(\tau)}=w^{(\tau)T}u_{j}=w^{(\tau-1)T}u_{j}-\rho(w^{(\tau -1)}-w)^{T}Hu_{j}\\ \hspace{30pt}= w_{j}^{(\tau-1)}-\rho(w^{(\tau -1)}-w)^{T}\eta_{j}u_{j}\\ \hspace{30pt}= w_{j}^{(\tau-1)}-\rho \eta_{j}w^{(\tau -1)}_{J}+ \rho \eta_{j}w_{j}^{\ast}\\ \hspace{30pt}= (1-\rho\eta_{j})w_{j}^{(\tau-1)}+ \rho \eta_{j}w_{j}^{\ast} }$

$\tau=1$ のとき
$\displaystyle{ w_{j}^{(1)}=\rho\eta_{j}w_{j}^{\ast}=(1-(1-\rho\eta_{j}))w_{j}^{\ast} }$
(5.197)が成り立つ。
$\tau=N$ のとき(5.197)が成り立つとして $\tau=N+1$ のとき
$\displaystyle{ w_{j}^{(N+1)}=(1-\rho\eta_{j})w_{j}^{(N)}+\rho\eta_{j}w_{j}^{\ast} \\ \hspace{30pt}= (1-\rho\eta_{j})\{1-(1-\rho\eta_{j})^{N}\}w_{j}^{\ast}+\rho\eta_{j}w_{j}^{\ast}\\ \hspace{30pt}= \{(1-\rho\eta_{j})-(1-\rho\eta_{j})^{N+1}\} w_{j}^{\ast}+\rho\eta_{j}w_{j}^{\ast}\\ \hspace{30pt}= \{1-(1-\rho\eta_{j})^{N+1}\}w_{j}^{\ast} }$
成り立つ。よってすべての自然数 $\tau$ で(5.197)は成り立つ。

(5.197)において、 $|1-\rho\eta_{j}|$ < $1$ のとき、 $\tau \rightarrow\infty$ において $(1-\rho\eta_{j})^{\tau}=0$ より $w_{j}^{(\tau)}=\{1-(1-\rho\eta_{j})^{\tau}\}=w_{j}^{\ast}$

$\eta_{j}\gg(\rho\tau)^{-1}$ より $\rho\tau\eta_{j}\gg1$ 。 $|1-\rho\eta_{j}|$ < $1$ であるから $\tau$ はとても大きくなければならない。 $\tau$ が大きいなら(5.197)より $w_{j}^{(\tau)}\simeq w_{j}^{\ast}$

$\eta_{j}\ll(\rho\tau)^{-1}$ より $\rho\tau\eta_{j}\ll1$ 。 $(1-\rho\eta_{j})^{\tau}=1-\tau\rho\eta_{j}+O( (\rho\eta_{j})^{2})$ と展開し(5.197)に代入すると $|w_{j}^{\ast}|=|\{1-(1-\tau\rho\eta_{j}+O( (\rho\eta_{j})^{2}))\}w_{j}^{\ast}|\simeq\rho\tau\eta_{j}|w_{j}^{\ast}|\ll|w_{j}^{\ast}|$