trsing’s diary

勉強、読んだ本、仕事で調べたこととかのメモ。

PRMLメモ 3章 3.2

3.2 バイアス‐バリアンス分解

※普段は分散表記なのになぜここはバリアンス表記…
※1.5.5を復習しておけば楽

(3.37):(1.90)参照。第二項はtの分布の分散をxに関して平均したもの(ノイズ)

分布p(t,x)に従うデータ集合から任意のデータ集合\mathcal{D}を取ってきて予測関数y(x:\mathcal{D})を求める。データ集合\mathcal{D}が異なれば予測関数y(x:\mathcal{D})が異なるため二乗損失の値も異なる→学習アルゴリズムの性能をデータ集合\mathcal{D}の取り方に関する平均で評価する。

(3.40):E_{\mathcal{D}}[y(x;\mathcal{D}],\,h(x)\mathcal{D}に依存しないことに注意。

図3.5
上段:バイアス大、分散小
下段:バイアス小、分散大

(3.46),(3.47):E_{\mathcal{D}}[y(x;\mathcal{D})]=\overline{y}(x),\,p(x_n)=1/N,\,p(\mathcal{D})=1/Lと考えれば出てくる