PRMLメモ　2章　2.3.3、2.3.5

2.3.3ガウス変数に対するベイズの理論

目的：ガウス周辺分布 $p(x)$ 、平均が $x$ の線形関数、共分散は $x$ とは独立であるガウス条件付き分布 $p(y|x)$ が既知。これらから周辺分布 $p(y)$ と条件付き分布 $p(x|y)$ を求める。

(2.109)~(2.112)：(2.103)、(2.106)にて $\left(\begin{array}{c}y\\x\end{array}\right)$ となるようにまとめれば(2.94)~(2.98)をそのまま使える。

2.4.3ガウス分布の最尤推定

(2.118) $\mathrm{ln}\,\left(\frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}\right)^N\prod_{n=1}^{N}\exp\left\{-\frac{1}{2}(x_n-\mu)^T\Sigma^{-1}(x_n-\mu)\right\}$

(2.119)右側は $x^T\Sigma^{-1} x=Tr(x^T\Sigma^{-1} x)=Tr(\Sigma^{-1} xx^T)$ から？

(2.120) $\frac{\partial }{\partial x}x^TAx=(A+A^T)x$ より

2.3.5逐次推定

目的：逐次推定で最尤推定解を求める

(2.134)各 $x_n$ は観測値N個中の一つなので $p(x_n)=1/N$ 。

(2.134)が0になる最尤推定解 $\theta_{ML}$ を逐次的に求めたい。

逐次的な方法で $f(\theta)\equiv \mathbb{E}[ z|\theta]=0$ となる $\theta$ を見つけることができる Robbins-Monroアルゴリズムを使用する。

$\mathbb{E}[ z|\theta]=\mathbb{E}_x[-\frac{\partial}{\partial \theta}\mathrm{ln}\,p(x|\theta)],\,z(\theta^{(N-1)})=[-\frac{\partial}{\partial \theta^{(N-1)}}\mathrm{ln}\,p(x_N|\theta^{(N-1)})]$ として(2.135)