第四章 線形識別モデル 分類問題に対する3つのアプローチ 各入力ベクトルxから直接クラスを推定する識別関数を構築する方法 条件付き確率分布を直接モデル化する方法 クラスに対する事前確立とともにで与えられるクラスで条件づけされた確率密度を生成し、ベ…

3.4 ベイズモデル比較 ：モデルエビデンス、または周辺尤度 ：ベイズ因子 単純なモデルで得られるデータ集合は多様性に乏しい：例えばであれば得られるデータ集合は (+ランダムノイズ)。であれば得られるデータ集合は直線に乗るもの(+ランダムノイズ)。 複雑…

図3.8と図3.9の図を描画するpythonのコード 参考(というかコメント以外ほぼ丸写し…) https://qiita.com/naoya_t/items/80ea108cebc694f5cd63qiita.com コード見ると理解しやすいですね。 #https://qiita.com/naoya_t/items/80ea108cebc694f5cd63参照 from py…

3.3.2 予測分布 ：周辺分布(2.99)に対応 ：条件付き分布(2.100)に対応 として(2.115)を用いると(3.58),(3,59)が出てくる。 ガウス基底であればが各基底関数の平均から遠ざかるとが0に近づいていく。図3.1の中央を見るとイメージしやすい。 3.3.3 等価カーネ…

3.3.1 パラメータの分布 (3.10)をで整理する。 $$ \phi(x_{n})\phi(x_{n})^{T}= \begin{bmatrix} \phi_{0}^{n}\\ \vdots\\ \phi_{M -1}^{n} \end{bmatrix} \begin{bmatrix} \phi_{0}^{n} & \cdots & \phi_{M -1}^{n} \end{bmatrix}= \begin{bmatrix} \phi_{0…

3.2 バイアス‐バリアンス分解 ※普段は分散表記なのになぜここはバリアンス表記… ※1.5.5を復習しておけば楽 (3.37)：(1.90)参照。第二項はの分布の分散をに関して平均したもの(ノイズ) 分布に従うデータ集合から任意のデータ集合を取ってきて予測関数を求める…

3.1.4 正則化最小二乗法 (3.27)：(1.4)あたり参照。 (3.27)をで偏微分すると よって (3.27)は 演習3.5の解答を参照すると、 (3.12) をwで微分したものと(3.29)をwで微分したものは同じになる(のwにおける微分は0)→(3.29)を最小化することは(3.12)を制約条件(…

3.1線形基底関数モデル (3.1)：線形回帰。パラメータwの線形関数のため解析しやすい。しかし入力変数xに関しても線形関数のため表現能力に乏しい。 (3.2)：線形モデル。線形回帰を拡張して基底関数を導入。パラメータに関しては線形関数、入力関数に関して非…

下記HPがとても参考になります(私は参考にしたというより写経に近かったですが…) パターン認識と機械学習[PRML] 練習問題模範解答 - ドラえもん PRML演習問題 全問解答 | 機械学習の教科書の決定版【パターン認識と機械学習】の演習問題の全てを詳しく解答・…