PRML　３章～3.1.2 - trsing’s diary

3.1線形基底関数モデル

(3.1)：線形回帰。パラメータwの線形関数のため解析しやすい。しかし入力変数xに関しても線形関数のため表現能力に乏しい。

(3.2)：線形モデル。線形回帰を拡張して基底関数を導入。パラメータに関しては線形関数、入力関数に関して非線形。解析しやすく表現能力が高い。

フーリエ基底： $\phi_j(x)=\exp(ijx)$

3.1.1最尤推定と最小二乗法

(3.8)平均は $y(x,w)$

回帰や分類といった教師あり学習問題では、入力変数の分布をモデル化しようとしていない(INとOUTの関係を見る)。

(3.13) $\frac{\partial}{\partial w_i}E_D(w)=\beta\sum\{t_n-w^{T}\phi(x_n)\}\phi_i(x_n)$

(3.15)：特にひねりなく(3.14)を計算していくと $\sum t_n\phi(x_n)^{T}=\Phi^{T},\,\sum\phi(x_n)\phi(x_n)^{T}=\Phi^{T}\Phi$ になる。

(3.11)を $\beta$ で偏微分すると $\frac{N}{2}\frac{1}{\beta}-E_D(w)$

3.1.2最小二乗法の幾何学

yは $\varphi_j$ の任意の線形結合

${\displaystyle y= \left[ \begin{array}{c} y(x_1,w)\\ \vdots\\ y(x_N,w) \end{array} \right]= \left[ \begin{array}{c} w_0\phi_0(x_1)+\dots+w_{M-1}\phi_{M-1}(x_1)\\ \vdots\\ w_0\phi_0(x_N)+\dots+w_{M-1}\phi_{M-1}(x_N) \end{array} \right]\\\,\,=w_0 \left[ \begin{array}{c} \phi_0(x_1)\\ \vdots\\ \phi_0(x_N) \end{array} \right]+\dots+w_{M-1} \left[ \begin{array}{c} \phi_{M-1}(x_1)\\ \vdots\\ \phi_{M-1}(x_N) \end{array} \right]=w_0\varphi_0+\dots+w_{M-1}\varphi_{M-1} }$

(3.12)： $E_D(w)=1/2\sum{t_n-y(x_n,w)}$ よりyとtの二乗ユークリッド距離