PRML復々習レーン
2.3.4
ガウス分布の最尤推定
tomerun
PRML復々習レーン
やること
ある多変量ガウス分布から独立に観測値の列 {xn} が得られたとき、最尤推定からガウス分布のパラメタを求める。
1変数の場合は1.2.4節でやった。ここでの結果はだいたいそれと同じになる
尤度関数
観測値の列 {xn} が得られる確率は、観測値が互いに独立なので確率の積になる。
なので、対数尤度関数は
十分統計量
Σの中を展開すると、対数尤度関数は観測値に関しては次の量にだけ依存していることがわかる。
これは、Σの中が交差項のないxの二次式で、すべてのnに対して対称であることからもわかる。
※"次の2つの量によってのみ依存"と言ってはいるが、後者は行列であってD^2個の要素を持っていることに注意
平均の推定値
対数尤度をμで微分し、尤度最大とするμの値を求める。
これを0とおくと
これが、尤度を最大にするμの推定値である。
共分散行列の推定値
次に、対数尤度をΣで微分し、尤度最大とする共分散行列を求める。
→演習2.34 ちょっと技巧的な方法でやってあるので続きはWWWで。ここでは結果のみ
これは観測値の標本分散であり、直感的にもうなずける結果。
平均の推定値の期待値
得られた結果について、真の分布の下で期待値を取るとどうなっているかを見る。
まずは平均については
となり、最尤推定から得られる平均の期待値と真の分布の平均は一致する。
共分散行列の推定値の期待値
次に共分散行列について
演習2.35の結果より、次のようになる。
これは、真の値よりも小さくなっている。
ΣMLを N/N-1 倍した新しい推定量を持ち出すと、これは不偏推定となる。