표본 분산의 분산

1. 들어가며

얼마전에 모표준편차를 추정하기 위하여 표본의 범위와 표본의 표준편차 중 무엇을 사용하는 것이 더 나은지 포스팅한 적이 있다. 그것을 밝히기 위해서 여러가지 공식을 증명했었지만 내용과 관련이 없는 것은 적지 않았다. 그렇게 증명한 것 중에 버리기 아까운 것을 적는다.

임의의 분포를 따르는 변수 $X$의 평균 $E(X)$이 0, 분산 $Var(X)$이 ${\sigma }^2$, 제곱의 평균 $E(X^2)$이 ${\mu }_2$ 그리고 네제곱의 평균 $E(X^4)$이 ${\mu }_4$라고 하자. $E(X)$을 0으로 설정한 이유는 일반성을 잃지 않으면서도 계산의 복잡성을 낮추기 위함이다. 독립적인 $n$개의 sample로 계산한 표본 분산 $s^2$이 $\sum _i^n(x_i-\overline{x}{)}^2/(n-1)$라고 할 때 표본 분산의 분산 $Var(s^2)$는 다음과 같다.

$$Var(s^2)=\frac{{\mu }_4}{n}-\frac{n-3}{n(n-1)}{\mu }_2^2$$

2. 증명

$Var(s^2)=E(s^4)-E^2(s^2)$이므로 $E(s^4)$와 $E^2(s^2)$를 각각 구한다. 먼저 $E(s^4)$를 구하자.

$$\begin{array}{rcl}E(s^4)& =& E{(\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2)}^2\\ & =& \frac{1}{(n-1{)}^2}E{(\sum _{i=1}^n(x_i^2-2x_i\overline{x}+{\overline{x}}^2))}^2\\ & =& \frac{1}{(n-1{)}^2}E{(\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2)}^2\\ & =& \frac{1}{(n-1{)}^2}E({\left(\sum _{i=1}^n{x}_i^2\right)}^2-2n{\overline{x}}^2\sum _{i=1}^n{x}_i^2+n^2{\overline{x}}^4)\\ \text{(1)}& & =& \frac{1}{(n-1{)}^2}[E{\left(\sum _{i=1}^n{x}_i^2\right)}^2-\frac{2}{n}E\left({\left(\sum _{i=1}^n{x}_i\right)}^2\sum _{i=1}^n{x}_i^2\right)+\frac{1}{n^2}E{\left(\sum _{i=1}^n{x}_i\right)}^4]\end{array}$$

각 항을 식 $(2)$,$(3)$,$(4)$와 같이 구하자.

$$\begin{array}{}\text{(2)}& E{\left(\sum _{i=1}^n{x}_i^2\right)}^2=E(\sum _{i=1}^n{x}_i^4+\sum _{i\ne j}{x}_i^2{x}_j^2)=n{\mu }_4+n(n-1){\mu }_2^2\end{array}$$

$$\begin{array}{rcl}E\left({\left(\sum _{i=1}^n{x}_i\right)}^2\sum _{i=1}^n{x}_i^2\right)& =& E\left((\sum _{i=1}^n{x}_i^2+\sum _{i\ne j}{x}_i{x}_j)\sum _{i=1}^n{x}_i^2\right)\\ & =& E(\sum _{i=1}^n{x}_i^4+\sum _{i\ne j}{x}_i^2{x}_j^2+\sum _{i\ne j}{x}_i{x}_j\sum _{i=1}^n{x}_i^2)\\ & =& E(\sum _{i=1}^n{x}_i^4+\sum _{i\ne j}{x}_i^2{x}_j^2)\because E\left(\sum _{i\ne j}{x}_i{x}_j\sum _{i=1}^n{x}_i^2\right)\text{includes }E(X)\\ \text{(3)}& & =& n{\mu }_4+n(n-1){\mu }_2^2\end{array}$$

$$\begin{array}{rcl}E{\left(\sum _{i=1}^n{x}_i\right)}^4& =& E{\left({\left(\sum _{i=1}^n{x}_i\right)}^2\right)}^2\\ & =& E{(\sum _{i=1}^n{x}_i^2+\sum _{i\ne j}{x}_i{x}_j)}^2\\ & =& E({\left(\sum _{i=1}^n{x}_i^2\right)}^2+2\sum _{i=1}^n{x}_i^2\sum _{i\ne j}{x}_i{x}_j+{\left(\sum _{i\ne j}{x}_i{x}_j\right)}^2)\\ & =& E(\sum _{i=1}^n{x}_i^4+\sum _{i\ne j}{x}_i^2{x}_j^2+2\sum _{i\ne j}{x}_i^2{x}_j^2)\because E(X)\text{ is included in the other terms}\\ \text{(4)}& & =& n{\mu }_4+3n(n-1){\mu }_2^2\end{array}$$

$(2)$,$(3)$,$(4)$를 $(1)$에 대입하여 $E(s^4)={\mu }_4/n+(n^2-2n+3)/((n-1)n){\mu }_2^2$를 얻는다.

이제 $E^2(s^2)$를 구하자.

$$\begin{array}{rcl}{E}^2(s^2)& =& E^2(\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2)\\ & =& E^2\left(\frac{1}{n-1}(\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2)\right)\\ & =& {\left(\frac{1}{n-1}(\sum _{i=1}^{n}E(x_i^2)-nE({\overline{x}}^2))\right)}^2\\ & =& {\left(\frac{1}{n-1}(\sum _{i=1}^{n}E(x_i^2)-\frac{1}{n}E(\sum _{i=1}^n{x}_i^2+\sum _{i\ne j}{x}_i{x}_j))\right)}^2\\ & =& {\left(\frac{1}{n-1}(n{\mu }_2-{\mu }_2)\right)}^2\\ \text{(5)}& & =& {\mu }_2^2\end{array}$$

따라서,

$$\begin{array}{rcl}Var(s^2)& =& E(s^4)-E^2(s^2)\\ & =& \frac{{\mu }_4}{n}+\frac{n^2-2n+3}{n(n-1)}{\mu }_2^2-{\mu }_2^2\\ & =& \frac{{\mu }_4}{n}-\frac{n-3}{n(n-1)}{\mu }_2^2\end{array}$$

3. 마치며

임의의 분포에 대하여 성립하기 때문에 그 분포의 2nd, 4th Central moment만 구할 수 있다면 표본 분산의 분산을 쉽게 계산할 수 있다. 예를 들어 $X\sim N(0,{\sigma }^2)$일때 2nd, 4th Central moment는 각각 ${\sigma }^2$,$3{\sigma }^4$이므로 $Var(s^2)=2/(n-1){\sigma }^4$임을 알 수 있다. 물론 정규분포와 ${\chi }^2$ 분포와의 관계를 이용해서도 구할 수 있다.

오랜만에 어렵진 않지만 복잡한 계산 연습을 했다고 생각한다.