サンプル平均の期待値,分散,不偏推定量まとめ(統計検定準1級対策2)


統計検定準1級に合格するには,短い時間内に大量の処理をする必要があります.
それには過去問を素早く解く練習が適しています.
問題を解く際に覚えておくべきサンプル平均の期待値,分散,不偏推定量についてまとめました.
これらは,標準化や中心極限定理でも利用する重要な性質です.

サンプル平均\(\bar{X}\)の期待値,分散

サンプル平均\(\bar{X}\)とは,\(n\)のデータの平均のこと.$$\bar{X}=\displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n}X_i$$

問(サンプル平均の期待値,分散)確率変数\(X_1,X_2,\cdots,X_n\)は互いに独立とする.\(X_i\)の期待値:\(\mu\),分散:\(\sigma^2\)とする.
(1)\(E[\bar{X}]\)を求めよ.
(2)\(V[\bar{X}]\)を求めよ.

(1)\(E[\bar{X}]\)$$E[\bar{X}]=E\left [\displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n}X_i \right ]=\displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n} E\left [ X_i \right ]$$$$=\displaystyle \frac{1}{n}n\mu (∵ E[X]=\mu)$$$$=\mu$$$$∴ E[\bar{X}]=\mu.$$

(2)\(V[\bar{X}]\)$$V[\bar{X}]=V\left [\displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n}X_i \right ]=\displaystyle \frac{1}{n^2} \displaystyle \sum_{i=1}^{n} V\left [ X_i \right ]$$$$(∵V[aX+b]=a^2V[X])$$$$=\displaystyle \frac{\sigma^2}{n} (∵V[X]=\sigma^2)$$$$∴ V[\bar{X}]=\frac{\sigma^2}{n}.$$

これにより,サンプル平均\(\bar{X}\)の期待値は不偏性を持つことが分かります.

定義(不偏推定量)推定量\(\hat{\theta}\)が真のパラメータ\(\theta\)の不偏推定量とは,以下を満たすことである.$$E\left [\hat{\theta}\right ]=\theta$$

つまり,サンプルで平均を取ったものの期待値は,母集団の真の期待値を推定する良い値ということです.
式により,サンプル数\(n\)に依らないことが分かります.

また,分散については,サンプル数\(n\)が大きくなればなるほど,\(V[\bar{X}]=\displaystyle \frac{\sigma^2}{n}\)が\(0\)に近づきます.

つまり,ばらつきが無くなるということです.(大数の法則)

\(E[\bar{X}^2]\)の計算

次の計算方法もおさえておきます.

(1)\(E[\bar{X}^2]\)を求めよ.

分散の計算をうまく使います.

$$V[\bar{X}]=E[\bar{X}^2]-E[\bar{X}]^2=E[\bar{X}^2]-\mu^2$$$$V[\bar{X}]=\displaystyle \frac{\sigma^2}{n}より$$$$∴ E[\bar{X}^2]=\displaystyle \frac{\sigma^2}{n}+\mu^2.$$

\(\sigma^2\)の不偏推定量

分散\(\sigma^2\)の不偏推定量を考えます.

つまり,サンプルから計算できる推定量で,期待値が真の分散になるものを考えます.
推定量\(\hat{\theta}\)が次を満たせば不偏推定量です.

$$E\left [\hat{\theta}\right ]=\sigma^2$$

簡単に思いつくのが,真の期待値\(\mu\)の代わりにサンプル平均を使う次の推定量です.

$$\displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n}(X_i-\bar{X})^2$$

しかし,これは不偏推定量にはなりません.

分母が割られすぎて,小さくなり過ぎています.

実は分母を\(n-1\)とするとうまくいきます.

$$S^2 = \displaystyle \frac{1}{n-1} \displaystyle \sum_{i=1}^{n}(X_i-\bar{X})^2$$とする.このとき,\(S^2\)は\(\sigma^2\)の不偏推定量であることを示せ.

証明:
\(E[S^2]=\sigma^2\)を示す.

$$(n-1)S^2=\displaystyle \sum_{i=1}^{n}(X_i-\bar{X})^2$$$$=\displaystyle \sum_{i=1}^{n}\left \{ (X_i-\mu)-(\bar{X}-\mu) \right \}^2$$$$=\displaystyle \sum_{i=1}^{n}(X_i-\mu)^2-2\displaystyle \sum_{i=1}^{n}(X_i-\mu)(\bar{X}-\mu)+\displaystyle \sum_{i=1}^{n}(\bar{X}-\mu)^2$$$$=\displaystyle \sum_{i=1}^{n}(X_i-\mu)^2-2(\bar{X}-\mu)\displaystyle \sum_{i=1}^{n}(X_i-\mu)+n(\bar{X}-\mu)^2・・・①$$
ここで,第2項目は次のように計算できる.$$-2(\bar{X}-\mu)\displaystyle \sum_{i=1}^{n}(X_i-\mu)=-2(\bar{X}-\mu)\left ( \displaystyle \sum_{i=1}^{n}X_i- \displaystyle \sum_{i=1}^{n}\mu\right )$$$$=-2(\bar{X}-\mu)\left ( n\bar{X}-n\mu\right )$$$$=-2n(\bar{X}-\mu)^2.$$①に代入して,$$(n-1)S^2=\displaystyle \sum_{i=1}^{n}(X_i-\mu)^2-2n(\bar{X}-\mu)^2+n(\bar{X}-\mu)^2$$$$=\displaystyle \sum_{i=1}^{n}(X_i-\mu)^2-n(\bar{X}-\mu)^2.$$よって両辺の期待値をとると,$$(n-1)E[S^2]=\displaystyle \sum_{i=1}^{n}E\left [ (X_i-\mu)^2\right ]-n E\left [(\bar{X}-\mu)^2\right ]$$$$=\displaystyle \sum_{i=1}^{n}V[X]-n V[\bar{X}]$$$$=n\sigma^2-n・\displaystyle \frac{\sigma^2}{n}$$$$=(n-1)\sigma^2.$$$$∴ E[S^2]=\sigma^2.$$

分散の不偏推定量として,もう一つあります.
サンプル平均ではなく,真の期待値\(\mu\)を使うものです.
この場合,分母は\(n\)です.

$$T^2 = \displaystyle \frac{1}{n} \displaystyle \sum_{i=1}^{n}(X_i-\mu)^2$$とする.このとき,\(T^2\)は\(\sigma^2\)の不偏推定量であることを示せ.

証明:
\(E[T^2]=\sigma^2\)を示す.

$$E[T^2]=\displaystyle \frac{1}{n}\displaystyle \sum_{i=1}^{n}E\left [(X_i-\mu)^2 \right ]$$$$=\displaystyle \frac{1}{n}\displaystyle \sum_{i=1}^{n}\sigma^2=\displaystyle \frac{1}{n}n\sigma^2=\sigma^2.$$

==================================

にほんブログ村ランキングに参加しています.

クリックで応援よろしくお願いします.

にほんブログ村 科学ブログ 数学へ

にほんブログ村

==================================

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です