trsing’s diary

勉強、読んだ本、仕事で調べたこととかのメモ。

PRMLメモ 3章 3.3.2、3.3.3

3.3.2 予測分布

p(w|t,\alpha,\beta)=\mathcal{N}(w|m_{N},S_{N}):周辺分布(2.99)p(x)=\mathcal{N}(x|\mu,\Lambda^{-1})に対応
p(t|w,\beta)=\mathcal{N}(t|\phi(x)^{T}w,\beta^{-1}):条件付き分布(2.100)p(y|x)=\mathcal{N}(y|Ax+b,L^{-1})に対応
\mu=m_{N},\,\Lambda^{-1}=S_{N},\,A=\phi(x)^{T},\,b=0,\,L^{-1}=\beta^{-1}として(2.115)を用いると(3.58),(3,59)が出てくる。

ガウス基底であればxが各基底関数の平均から遠ざかると\phi(x)が0に近づいていく。図3.1の中央を見るとイメージしやすい。

3.3.3 等価カーネル

xに近いx_{n}に対応するt_{n}の重みが大きい。

{\begin{align}
cov[\phi(x)^{T}w,\,w^{T}\phi(x^{'})]&=E[(\phi(x)^{T}w-E[\phi(x)^{T}w])(w^{T}\phi(x^{'})-E[w^{T}\phi(x^{'})])]\\
&=E[(\phi(x)^{T}w-\phi(x)^{T}E[w])(w^{T}\phi(x^{'})-E[w^{T})]\phi(x^{'})]\\
&=\phi(x)^{T}E[(w-E[w])(w^{T}-E[w^{T})])]\phi(x^{'})\\
&=\phi(x)^{T}Var[w]\phi(x^{'})\\
&=\phi(x)^{T}S_{N}\phi(x^{'})
\end{align}}

xx^{'}が近ければy(x)y(x^{'})に高い相関あり(≒値が近い?)。

メモ:x_{n},\,t_{n}は観測済みの値ということに注意してないとなんか混乱してくる。
メモ:$$の中でcovは使えないみたいだ・・・