PRMLメモ３章 3.3.1 - trsing’s diary

3.3.1 パラメータの分布

(3.10)を $w$ で整理する。 $$ \phi(x_{n})\phi(x_{n})^{T}= \begin{bmatrix} \phi_{0}^{n}\\ \vdots\\ \phi_{M -1}^{n} \end{bmatrix} \begin{bmatrix} \phi_{0}^{n} & \cdots & \phi_{M -1}^{n} \end{bmatrix}= \begin{bmatrix} \phi_{0}^{n}\phi_{0}^{n}&\cdots& \phi_{0}^{n}\phi_{M -1}^{n}\\ \vdots &\ddots&\vdots\\ \phi_{M -1}^{n}\phi_{0}^{n}&\cdots& \phi_{M -1}^{n}\phi_{M -1}^{n} \end{bmatrix} $$ $\sum\phi(x_{n})\phi(x_{n})^{T}$ の(i+1,j+1)成分は $\sum\phi_{i}^{n}\phi_{j}^{n}$ 。これは $\Phi^{T}\Phi$ の(i+1,j+1)成分と同じだから $$ \sum\{w^{T}\phi(x_n)\}^{2}=\sum\{w^{T}\phi(x_{n})\phi(x_{n})^{T}w\}=w^{T}\{\sum\phi(x_{n})\phi(x_{n})^{T}\}w=w^{T}\Phi^{T}\Phi w $$ $$ \sum t_{n}w^{T}\phi(x_{n})=w^{T}\sum t_{n}\phi(x_{n})=w^{T}[\phi_{0}\,\cdots\,\phi_{M -1}]t=w^{T}\Phi^{T}t $$

モード(最頻値)：分布が最大になるとこ。ガウス分布の場合平均値。

$S_{0}=\alpha^{-1}I,\,\alpha\to0$ より $S_{0}^{-1}=\alpha I\to0$ 。 $S_{N}=1/\beta(\Phi^{T}\Phi)^{-1}$ で $m_{N}=(\Phi^{T}\Phi)^{-1}\Phi^{T}t$

(3.53)(3.50)： $m_{0}=0,\,S_{0}=\alpha^{-1}I$ としたもの。

(3.55)： $p(w|t)\propto p(t|w)p(w|\alpha)$ 。 $p(t|w)$ は(3.10)。

前提条件
・元の関数 $f(x)=a_{0}+a_{1}x=-0.3+0.5x$
・訓練データ $t_{n}=f(x)+noise$ ・ノイズは標準偏差0.2のガウス分布
・ノイズの分散は既知
・パラメータ $\alpha$ は２.0に固定。
目標
訓練データから秦のパラメータ値 $\alpha_{0},\,\alpha_{1}$ を復元する