5.6　混合密度ネットワーク

単純な回帰問題では条件付き分布 $p(t|x)$ をガウス分布と仮定している。しかし、実用的な問題ではガウス分布とは全く異なる分布を用いる必要がある。

例)

ロボットの終端から関節角を求める問題(図5.18)。二つの解を持つ。
人体における特定の症状パターンから特定の疾患を求める問題。
・順問題が多対一の写像なら逆問題は複数の解を持つ

高度な非ガウス性を持つ逆問題に対してガウス分布を仮定して問題を解くと非常に貧弱なモデルしか得られない(図5.19)

対応策

$p(t|x)$ に混合モデルを用いることで実現できる。ガウス分布を要素に持つ場合は(5.148)。目標変数が2値の場合にはガウス分布の代わりにベルヌーイ分布などを使えば良い。

混合モデルのパラメータをニューラルネットワークの出力に支配されるように取る。

パラメータ	制約	出力との関係	出力の個数
混合係数 $\pi_{k}(x)$	(5.149)	$a_{k}^{\pi}$ , ソフトマックス関数(5.150)	K
平均 $\mu_{k}(x)$	$\sigma_{k}^{2}\geq 0$	$a_{k}^{\sigma}$ , 指数関数(5.151)	K
分散 $\sigma_{k}^{2}(x)$	-	$a_{kj}^{\mu}$ , そのまま(5.152)	KxL

出力の数は計 $(L+2)K$ 個

ニューラルネットワークの重みとバイアスのベクトル $w$ を求めるための誤差関数は(5.153)。誤差関数を各出力に関して微分すると(5.154)～(5.157)。
※(5.140)～(5.147)を参照

条件付き密度関数の応用例

条件付密度関数を用いて平均(5.158)、分散(5.160)を評価することができる。
多峰性を持つ分布の場合、平均を求めてもあまり意味がない(例えば図5.18では平均に意味なし) 。この場合、条件付きモード(数値的反復法が必要)、あるいはそれぞれの $x$ に対して混合係数が最大の要素の平均を取るという方策がある(図5.21の(d)。max(a)に対応する(b))。