最尤推定の公式｜尤度関数・対数尤度の微分・正規分布・ポアソン分布の最尤推定量と例題【大学院入試・数理統計】

うかるくん

最尤推定で、尤度の対数をとってから微分するのはなぜ？

合格先生

$\log$ は増加関数だから、最大になる場所は変わらない。しかも積が和になって、微分がぐっと楽になるんだ。

最尤推定の考え方と公式

データ $x_1,\cdots,x_n$ が得られたとき、「このデータが出る確率（密度）がいちばん大きくなるパラメータ」を推定値にするのが最尤（さいゆう）推定です。

$\log$ は増加関数なので、$L$ と $\ell=\log L$ は同じ $\theta$ で最大になります。積が和になるので、対数をとってから微分するのが基本の手順です。

なぜその式になるのか（証明）

① ベルヌーイ（コイン）：$\hat p=\dfrac kn$

$n$ 回中 $k$ 回成功なら $L(p)=p^k(1-p)^{n-k}$、$\ell(p)=k\log p+(n-k)\log(1-p)$（$0<k<n$ とする）。

$p<\dfrac kn$ で $\ell'>0$、$p>\dfrac kn$ で $\ell'<0$ なので、$p=\dfrac kn$ で最大です（増減表で確かめる）。直観どおり「成功した割合」が推定値になります。

② 正規分布：$\hat\mu=\bar x$、$\hat\sigma^2=\dfrac1n\sum(x_i-\bar x)^2$

$v=\sigma^2$ とおくと

$\mu$ で偏微分して $0$：$\dfrac1v\sum(x_i-\mu)=0$ より $\hat\mu=\bar x$。どの $v$ でも $\sum(x_i-\mu)^2$ は $\mu=\bar x$ で最小なので、これが $\mu$ についての最大です。

次に $\mu=\bar x$ として $v$ で微分して $0$：$-\dfrac n{2v}+\dfrac{S}{2v^2}=0$（$S=\sum(x_i-\bar x)^2$）より $\hat v=\dfrac Sn$。$v<\dfrac Sn$ で増加、$v>\dfrac Sn$ で減少なので最大です。

③ $\hat\sigma^2$ は不偏ではない

$X_1,\cdots,X_n$ が独立で平均 $\mu$、分散 $\sigma^2$ のとき、$\displaystyle\sum(X_i-\bar X)^2=\sum(X_i-\mu)^2-n(\bar X-\mu)^2$ と変形でき、$E[(X_i-\mu)^2]=\sigma^2$、$E[(\bar X-\mu)^2]=V[\bar X]=\dfrac{\sigma^2}{n}$ なので

よって $E[\hat\sigma^2]=\dfrac{n-1}{n}\sigma^2$ で、少し小さめに偏ります。偏りをなくしたのが不偏分散 $s^2=\dfrac1{n-1}\sum(x_i-\bar x)^2$ です。

大学院入試では

院試では「尤度関数を書く → 対数をとる → 微分して0 → 最大であることを確かめる」の4段を答案に書けるかが問われます。

学部の授業とのつながり・院試での注意

• どの授業で習うか：「数理統計学」「統計学」の点推定で学びます。機械学習でも、ロジスティック回帰などのパラメータを決める基本の考え方として出てきます。
• 答案で示すべきこと：①尤度関数 $L(\theta)$ ②対数尤度 $\ell(\theta)$ ③尤度方程式とその解 ④それが最大であること（増減か2階微分の符号）。④を書き忘れる答案が多いです。
• よくある出題の形：ポアソン・指数・正規・幾何分布の最尤推定量／不偏性の判定（$E[\hat\theta]=\theta$ か）／一様分布 $U(0,\ \theta)$ のように微分では求まらない場合（練習問題1）／信頼区間・検定との組み合わせ。
• 性質（証明は略）：適当な条件のもとで、最尤推定量は $n\to\infty$ で真の値に近づき（一致性）、分布は正規分布に近づくことが大学の授業で示されます。

よくある間違い

合格先生

何でも微分して0とするな。一様分布 $U(0,\ \theta)$ では微分が0の点はなく、最大のデータが推定値だぞ。

• 何でも微分して0とする：一様分布 $U(0,\ \theta)$ の尤度は $\theta\ge\max x_i$ で $\theta^{-n}$（減少）なので、微分が0になる点はなく、$\hat\theta=\max x_i$ です。
• $\hat\sigma^2$ を不偏分散と思う：最尤推定量は $n$ で割り、不偏分散は $n-1$ で割ります。$E[\hat\sigma^2]=\dfrac{n-1}{n}\sigma^2$ です。
• 尤度を足し算で書く：独立なデータの尤度は密度の積です。和になるのは対数をとったあとです。

練習問題

うかるくん

最大になることの確認も書くんだね。

1. 大学院入試 一様分布 $U(0,\ \theta)$（密度 $\dfrac1\theta$、$0\le x\le\theta$）から得たデータ $3.1,\ 0.4,\ 2.2,\ 4.7$ について、$\theta$ の最尤推定値を求めなさい。
   答えと解説を見る

   $L(\theta)=\theta^{-4}$（$\theta\ge$ すべてのデータ）、それ以外は $0$。$\theta^{-4}$ は減少関数なので、できるだけ小さい $\theta$、つまり最大のデータで最大。答え $\hat\theta=4.7$
2. 大学院入試 ある試行を20回行ったところ6回成功した。成功確率 $p$ の最尤推定値を求めなさい。
   答えと解説を見る

   $\ell(p)=6\log p+14\log(1-p)$、$\ell^{\prime}(p)=\dfrac6p-\dfrac{14}{1-p}=0$ より $p=\dfrac{6}{20}$。答え $\hat p=0.3$
3. 大学院入試 幾何分布 $P(X=k)=(1-p)^{k-1}p$（$k=1,2,\cdots$）から得たデータ $3,\ 1,\ 4,\ 2$ について、$p$ の最尤推定値を求めなさい。
   答えと解説を見る

   $\ell(p)=\left(\sum k_i-n\right)\log(1-p)+n\log p$、$\ell^{\prime}=0$ より $\hat p=\dfrac{n}{\sum k_i}=\dfrac1{\bar k}$。$\bar k=2.5$ なので答え $\hat p=0.4$

関連する公式

• 推定と仮説検定
• ポアソン分布・指数分布
• 正規分布と標準化
• 二項分布
• 中心極限定理
• ラグランジュの未定乗数法（条件つきの最大化）

よくある質問

あわせて読みたい

• 合格大作戦 算数・数学公式辞典（公式一覧）