4.3.4 多クラスロジスティック回帰
多クラスの分布に対して事後確率は特徴変数の線形関数のソフトマックス変換で与えられる。この節では最尤法を用いて直接パラメータ
を決定する。
パラメータベクトルに関する線形回帰モデルの対数尤度関数の微分は誤差
と特徴ベクトル
との積になる。これは今回に限らずもっと一般的な結果。(4.3.6節で見る)
多クラス問題用のIRLSアルゴリズムを得るために必要なヘッセ行列のブロックj,kは(4.110)となる。
(4.106)：
(4.109)：
(4.110)：
4.3.5 プロビット回帰
指数型分布族以外のタイプの識別確率モデルについて調べる。 ただし、2クラスの場合で(4.111)の範囲で議論を行う。
プロビット回帰について。プロビット活性化関数に基づく一般化線形モデル。S字形。ロジスティック回帰より外れ値に対して敏感。
(4.116)：
4.3.6 正準連結関数
これまでにいくつかのモデルで
パラメータベクトルに関する誤差関数の微分が「誤差」
と特徴ベクトル
との積になるのを見てきた。
これは正準連結関数として知られている関数を活性化関数に選び、指数型分布族の中から目的変数に対する条件付確率分布を選択することから得られる一般的な結果であることを示す。
(4.119) ：
(4.122)：
(4.123)：
