4.23 (4.138)より $$ A=-\nabla\nabla\ln p(D|\theta_{MAP})p(\theta_{MAP})=-\nabla\nabla(\ln p(D|\theta_{MAP})+p(\theta_{MAP}))=H-\nabla\nabla\ln p(\theta_{MAP}) $$ より $$ A=H+V_{0}^{-1} $$ 事前確率が広い幅を持っている(が大きい)、もしくはデ…

4.19 解答だとですね…。わからん。 4.20 解答見ながら。自分の理解しやすい形にしたけどあってんのか・・・？ 4.21 4.22 として、(4.136)に(4.135)を適用して対数を取るだけ？Aについても(4.132)。

4.12 4.13 4.14 線形分離可能であれば、 のとき、それ以外では<。よってベクトルは決定境界を満足する。 (4.90)より負の対数尤度はすべてのに対してのとき最小化される。より最小化するには。よっては無限となる。 解答見ながら。わかるようなわからないよう…

4.8 ・(4.57),(4.58)を使って(4.65)の結果を導出せよ。 4.9 クラスの事前確率と一般的なクラス条件付の確率密度によって定義されるKクラス分類問題の生成モデルを考える。 学習データ{}が与えられたとする。データがこのモデルから独立に抽出されると仮定す…

4.3 わからん 4.4 クラス分離基準(4.22)をに関して最大化すればとなること示せ。 4.5 (4.20),(4.23),(4.24)を使って(4.25)が(4.26)の形で書けることを示せ。 4.6 (4.27),(4.28),(4.34),(4.36)および4.1.5節で述べた目的値を使って(4.33)が(4.37)の形で書ける…

4.1 データの集合との集合がある。凸包が重なる場合、2つのデータの集合は線形分離可能ではないことを示せ。 2つのデータの集合が線形分離可能な場合、それらの凸包が重ならないことを示せ。 4.2 (4.15)に対して線形制約 を満たすと仮定すると、 を満たすこ…

二つのリスト(A,B)を比較してAの各要素がBにあるかないか表示できたら便利ということがあったのでpythonで書いてみた。 listA=['a','b','c','d','e','f'] listB=['b','d','e','g','h'] #listAの各要素をkey、keyがlistBに含まれれば'あり'、含まれなければ'…

4.4 ラプラス近似 今後の議論(4.5節)について。モデルが複雑(事後確率分布がガウス分布でない)でパラメータベクトル上で正確に積分することができないため、何らかの近似を導入する必要が出てくる。ここではラプラス近似を紹介する。 ラプラス近似の目的：連…

4.3.4 多クラスロジスティック回帰 多クラスの分布に対して事後確率は特徴変数の線形関数のソフトマックス変換で与えられる。この節では最尤法を用いて直接パラメータを決定する。 パラメータベクトルに関する線形回帰モデルの対数尤度関数の微分は誤差と特…

4.3 確率的識別モデル 一般化線形モデルの関数形式を陽に仮定し、パラメータを直接決定する方法。 条件付確率密度分布を通じて定義される尤度関数を最大化する(識別学習の一形態)。 利点 決めるべき適応パラメータが少ない。 真の確率分布をうまく近似できな…

4.1.7 パーセプトロンアルゴリズム 誤分類された場合は負になる。 判定基準が正負なので定数を掛けても変化しない 4.2 確率的生成モデル 線形決定境界をどのように生成するか示す。 ロジスティックシグモイド関数、ソフトマックス関数の導入。ソフトマックス…

4.1.3 分類における最小二乗 (4.15)を微分 より 4.1.4 フィッシャーの線形判別 (演習4.4) をで微分すると (4.25)から(4.26) も同様 (4.26)を微分 より 。はスカラーなのではと同じ方向を持つ。 4.1.5 最小二乗との関係 $$ \sum_{n=1}^{N}x_{n} = \sum_{k=1}^…

第四章 線形識別モデル 分類問題に対する3つのアプローチ 各入力ベクトルxから直接クラスを推定する識別関数を構築する方法 条件付き確率分布を直接モデル化する方法 クラスに対する事前確立とともにで与えられるクラスで条件づけされた確率密度を生成し、ベ…

3.4 ベイズモデル比較 ：モデルエビデンス、または周辺尤度 ：ベイズ因子 単純なモデルで得られるデータ集合は多様性に乏しい：例えばであれば得られるデータ集合は (+ランダムノイズ)。であれば得られるデータ集合は直線に乗るもの(+ランダムノイズ)。 複雑…

図3.8と図3.9の図を描画するpythonのコード 参考(というかコメント以外ほぼ丸写し…) https://qiita.com/naoya_t/items/80ea108cebc694f5cd63qiita.com コード見ると理解しやすいですね。 #https://qiita.com/naoya_t/items/80ea108cebc694f5cd63参照 from py…

3.3.2 予測分布 ：周辺分布(2.99)に対応 ：条件付き分布(2.100)に対応 として(2.115)を用いると(3.58),(3,59)が出てくる。 ガウス基底であればが各基底関数の平均から遠ざかるとが0に近づいていく。図3.1の中央を見るとイメージしやすい。 3.3.3 等価カーネ…

3.3.1 パラメータの分布 (3.10)をで整理する。 $$ \phi(x_{n})\phi(x_{n})^{T}= \begin{bmatrix} \phi_{0}^{n}\\ \vdots\\ \phi_{M -1}^{n} \end{bmatrix} \begin{bmatrix} \phi_{0}^{n} & \cdots & \phi_{M -1}^{n} \end{bmatrix}= \begin{bmatrix} \phi_{0…

3.2 バイアス‐バリアンス分解 ※普段は分散表記なのになぜここはバリアンス表記… ※1.5.5を復習しておけば楽 (3.37)：(1.90)参照。第二項はの分布の分散をに関して平均したもの(ノイズ) 分布に従うデータ集合から任意のデータ集合を取ってきて予測関数を求める…

3.1.4 正則化最小二乗法 (3.27)：(1.4)あたり参照。 (3.27)をで偏微分すると よって (3.27)は 演習3.5の解答を参照すると、 (3.12) をwで微分したものと(3.29)をwで微分したものは同じになる(のwにおける微分は0)→(3.29)を最小化することは(3.12)を制約条件(…

3.1線形基底関数モデル (3.1)：線形回帰。パラメータwの線形関数のため解析しやすい。しかし入力変数xに関しても線形関数のため表現能力に乏しい。 (3.2)：線形モデル。線形回帰を拡張して基底関数を導入。パラメータに関しては線形関数、入力関数に関して非…

下記HPがとても参考になります(私は参考にしたというより写経に近かったですが…) パターン認識と機械学習[PRML] 練習問題模範解答 - ドラえもん PRML演習問題 全問解答 | 機械学習の教科書の決定版【パターン認識と機械学習】の演習問題の全てを詳しく解答・…

目標：EntityFramework使ってるソフトを引き継いだので、ソース見て検索しながら理解できれば良い程度。 なのでざっくり。 下記ホームページで目標達成できる。 だいたいの使い方 Entity Framework カテゴリーの記事一覧 - インクリメンタルなカイハツにっき…

2.5ノンパラメトリック法 パラメトリックなアプローチ：データ集合から値が決定される少数のパラメータで関数形が決まるような確率密度を利用 制限：データを生成した分布に適さない密度関数を選ぶと予測性能が悪くなる(例：多峰性の分布に単峰性のガウス分…

2.4指数型分布 指数型分布族の性質について。 上の指数型分布族はをパラメータとして(2.194)で定義される。 は分布を正規化するための係数と解釈できるので(2.195)。 ・ベルヌーイ分布の例 ・多項分布の例 (2.212)より 両辺に対してすると について整理して(…

2.3.6ガウス分布に対するベイズ推論 尤度関数の共役事前分布となるように事前分布を選ぶ。 取り扱いが便利なので分散ではなく精度()を使用する。 (2.151)観測数より分散がであるような観測値という解釈。 事前分布 条件 求める事前分布 一変数ガウス分布 D次…

2.3.3ガウス変数に対するベイズの理論 目的：ガウス周辺分布、平均がの線形関数、共分散はとは独立であるガウス条件付き分布が既知。これらから周辺分布と条件付き分布を求める。 (2.109)~(2.112)：(2.103)、(2.106)にてとなるようにまとめれば(2.94)~(2.98)…

2.3.1条件付きガウス分布 目的：同時分布がガウス分布であれば条件付き分布もガウス分布になることを示す。 方針：指数部分が二次形式であればガウス分布→の指数部分がの二次形式であることを示す。 ・。の指数部分を整理しての二次形式であれば条件付き分布…

2.2多値変数 はどれかの要素が1、他が0のベクトル (2.34)の係数は(1.94)と同じ考え方か 2.3ガウス分布 (2.46)固有ベクトルに定数をかけても固有ベクトル()→固有ベクトルに定数をかけてとなるようにできる。 (2.53) (2.61) (2.63)共分散だけど分散も含んでる …

PRMLお勉強中。メモ。 第二章確率分布 観測データ集合に基づいて適切なパラメータの値を決める 頻度主義：尤度関数を最適化してパラメータの値を決める。 ベイズ主義：事前分布を導入。観測データが与えられたときのパラメータの事後分布を計算する。 2.1二…

目的：二つのノートPC(Win7pro、Win10pro)を無線で接続してWin7PCからWin10PCにリモートデスクトップでアクセスする 手順： １．Win10PCでモバイルホットスポットON ２．Win7PCから見えるようになるので接続、パスワード入力 ※Win10PCのモバイルホットポット…