7. 점추정 (Point estimation)

• 추정
  • 통계적 추론 (statistical inference)은 고려중인 모집단으로부터 추출한 표본을 기초로 하여 모집단의 분포나 모수를 추정 (estimation)하고 검정 (test)하는 것을 의미한다.
  • 모수에 관한 추정 형태는 크게 모수의 참값으로 추측되는 하나의 값을 구하는 점추정 (point estimation)과 모수의 참값을 포함할 것이라고 추측되는 구간을 구하는 구간추정 (interval estimation)으로 나뉜다.

 

• 점추정
  • 점추정에서 관심이 있는 모수 $\theta$가 가질 수 있는 모든 값들의 집합을 모수공간 (parameter space)이라고 한다.
  • 모수 $\theta$를 추정하기 위해 사용되는 통계량을 점추정량 (point estimator) 또는 추정량 (estimator)이라고 하며 예시로는 표본평균, 표본분산, 표본비율 등이 있다.
  • 확률표본들을 통해 계산된 추정량의 실제 수치값을 추정값 (estimate)이라고 한다.

 

• 모수, 추정량, 추정값의 표기

구분		평균	분산	비율	상관계수
모집단	모수	$\mu$	$\sigma^2$	$p$	$\rho$
표본	추정량	$\overline{X}$	$S^2$	$\hat p$	$\hat \rho$
	추정값	$\overline{x}$	$s^2$	$\hat p$	$\hat \rho$

 

• 점추정의 특성
  • 모수 $\theta$를 추정하기 위한 추정량으로 여러개의 추정량을 고려할 수 있다.
  • 추정량은 변수이므로 추출된 표본에 따라 추정값이 달라질 수 있다.
  • 모수에 대한 추정량의 기준으로 다음의 세가지 기준이 있다.
    1. 불편추정량 (unbiased estimator)
    2. 최소분산추정량 (minimum variance estimator)
    3. 일치추정량 (consistent estimator)

 

• 불편추정량
  • $T(X)$를 $g(\theta)$의 추정량이라고 할 때 $E[T(X)] - g(\theta)$를 $T(X)$의 편의 (편향, bias)라고 한다. 
  • 편의가 0이면, 즉 $E[T(X)] = g(\theta)$이면, $T(X)$가 불편성을 갖는다고 하고 $T(X)$를 $g(\theta)$의 불편추정량이라고 한다. 
  • 편의가 0이 아니면 $T(X)$를 $g(\theta)$의 편의추정량이라고 한다.

 

Examples

1. $N(\mu, \sigma^2)$을 따르는 정규모집단에서 추출한 확률표본 $X_1, X_2, X_3$에 대하여 두 추정량 $\hat \mu_1 = (X_1 + X_2 + X_3) / 3$, $\hat \mu_2 = (X_1 + 2X_2 + 3X_3) / 6$가 모평균 $\mu$의 불편추정량임을 보이시오. \begin{equation*}
        \begin{aligned}
                E(\hat \mu_1) 
                & = E(X_1 + X_2 + X_3) / 3 \\
                & = \{(E(X_1) + E(X_2) + E(X_3)\} / 3 \\
                & = 3\mu / 3 \\
                & = \mu \\
                \\
                E(\hat \mu_2) 
                & = E(X_1 + 2X_2 + 3X_3) / 6 \\
                & = \{(E(X_1) + 2E(X_2) + 3E(X_3)\} / 6 \\
                & = 6\mu / 6 \\
                & = \mu
            \end{aligned}
        \end{equation*}
2. 일반 모집단에서 추출한 $X_1, X_2, \cdots, X_n$에 대하여 표본분산 $S^2 = \dfrac{1}{n - 1} \sum^n_{i = 1} (X_i - \overline{X})^2$이 모분산 $\sigma^2$의 불편추정량임을 보이시오. \begin{equation*}
        \begin{aligned}
                E(S^2) 
                & = \dfrac{1}{n - 1}E\left[\sum^n_{i = 1} (X_i - \overline{X})^2\right] \\
                & = \dfrac{1}{n - 1}E\left[\sum^n_{i = 1} (X_i - \mu + \mu - \overline{X})^2\right] \\
                & = \dfrac{1}{n - 1}E\left[\sum^n_{i = 1} (X_i - \mu)^2 - n(\overline{X} - \mu)^2\right] \\
                & = \dfrac{1}{n - 1}\left[\sum^n_{i = 1}E(X_i - \mu)^2 - nE(\overline{X} - \mu)^2\right] \\
                & = \dfrac{1}{n - 1}\left[n\sigma^2 - n\left(\frac{\sigma^2}{n}\right)\right] \\
                & = \sigma^2 \\
            \end{aligned}
        \end{equation*}

 

• 최소분산추정량
  모수 $\theta$의 두 불편추정량 $\hat \theta_1$과 $\hat \theta_2$에 대해
  
  • $Var(\hat \theta_1) < Var(\hat \theta_2)$이면 '$\hat \theta_1$이 $\hat \theta_2$보다 더 효율적 (efficient)이다'라고 한다.
  • $\dfrac{Var(\hat \theta_1)}{Var(\hat \theta_2)}$를 불편추정량 $\hat \theta_1$에 대한 $\hat \theta_2$의 상대효율 (relative efficiency)이라고 한다.
  • 불편추정량 $\hat \theta$의 분산이 다른 모든 불편추정량의 분산과 같거나 그보다 작은 경우에 $\hat \theta$를 $\theta$의 최소분산불편추정량 (minimum variance unbiased estimator, MVUE)이라고 한다.

 

Examples

• $N(\mu, \sigma^2)$을 따르는 정규모집단에서 추출한 확률표본 $X_1, X_2, X_3$에 대하여 두 불편추정량 $\hat \mu_1 = (X_1 + X_2 + X_3) / 3$, $\hat \mu_2 = (X_1 + 2X_2 + 3X_3) / 6$ 중 어느 추정량이 더 효율적인지 구하시오. \begin{equation*}
       \begin{aligned}
               Var(\hat \mu_1) 
               & = Var[(X_1 + X_2 + X_3) / 3] \\
               & = [Var(X_1) + Var(X_2) + Var(X_3)] / 9 \\
               & = 3\sigma^2 / 9 \\
               & = \sigma^2 / 3 \\
               \\
               Var(\hat \mu_2) 
               & = Var[(X_1 + 2X_2 + 3X_3) / 6] \\
               & = [Var(X_1) + 4Var(X_2) + 9Var(X_3)] / 36 \\
               & = 14\sigma^2 / 36 \\
               & = 7\sigma^2 / 18 \\
           \end{aligned}
       \end{equation*}
       $$ \therefore ~~~ \hat \mu_1 \text{이 } \hat \mu_2 \text{보다 더 효율적이다.} $$

 

•  일치추정량
  • 모수 $\theta$의 추정량 $\hat \theta_n$이 표본의 크기 $n$이 커짐에 따라 $\theta$에 수렴하는 성질을 일치성 (consistency)라고 한다.
  • 모수 $\theta$에 대하여 크기가 $n$인 표본을 이용한 추정량 $\hat \theta_n$이 임의의 $\varepsilon$에 대해 다음 식을 만족하면 $\hat \theta_n$을 $\theta$의 일치추정량 (consistent estimator)이라고 한다.
    $$ \lim_{n \to \infty} P( | \hat \theta_n - \theta | < \varepsilon ) = 1 $$
  • $\hat \theta_n$을 모수 $\theta$의 추정량이라고 할 때 다음 조건을 만족하면 $\hat \theta_n$은 $\theta$의 일치추정량이다.
    $$ \lim_{n \to \infty} E(\hat \theta_n) = \theta ~~~ \text{그리고} ~~ \lim_{n \to \infty} Var(\hat \theta_n) = 0$$ 

 

Examples

평균이 $\mu$, 분산이 $\sigma^2$인 모집단에서 추출한 $X_1, X_2, \cdots, X_n$에 대하여

1. 표본평균 $\overline{X} = \dfrac{1}{n}\sum^n_{i = 1}X_i$가 모평균 $\mu$의 일치추정량임을 보이시오.
       $$ \lim_{n \to \infty} E(\overline{X}) = \lim_{n \to \infty} \mu = \mu, ~~~ \lim_{n \to \infty} Var(\overline{X}) = \lim_{n \to \infty} \frac{\sigma^2}{n} = 0 $$ $$ \therefore ~~~ \overline{X} \text{는 } \mu \text{의 일치추정량이다.} $$
2. 표본분산 $S^2 = \dfrac{1}{n - 1} \sum^n_{i = 1} (X_i - \overline{X})^2$이 모분산 $\sigma^2$의 일치추정량임을 보이시오.
       $$ \lim_{n \to \infty} E(S^2) = \lim_{n \to \infty} \sigma^2 = \sigma^2 $$ $$ \lim_{n \to \infty} Var(S^2) = \lim_{n \to \infty} Var\left(\frac{\sigma^2 V}{n - 1}\right) = \lim_{n \to \infty} \frac{\sigma^4}{(n - 1)^2}Var(V) = \lim_{n \to \infty} \frac{2\sigma^4}{n - 1} = 0 $$ $$ \therefore ~~~ S^2 \text{은 } \sigma^2 \text{의 일치추정량이다.} $$

 

•  중심극한정리
  • 확률표본 $X_1, X_2, \cdots, X_n$을 평균이 $\mu$이고 분산이 $\sigma^2$인 모집단으로부터 추출했을때 $S_n = X_1 + X_2 + \cdots + X_n$에 대하여 다음 식이 성립한다. $$ Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} = \frac{\overline{X} - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} N(0, 1), \text{ as } n \to \infty $$
  • 표본분산 $S^2$이 일치추정량이므로 다음 식이 성립한다. $$ \frac{\overline{X} - \mu}{S / \sqrt{n}} \xrightarrow{d} N(0, 1), \text{ as } n \to \infty $$

 

• 점추정량의 추정법
  • 모수의 점추정량을 구하는 방법은 여러 가지가 있지만 주로 최대우도추정법 (최대가능도추정법, maximum likelihood estimation)을 사용한다.
  • 최대우도추정법은 모수의 사전 정보가 필요 없으며 모수를 찾는 접근법이다.
  • 이외에는 최소제곱법, 적률법, 베이즈 추정법 등이 있다.

 

• 최대우도추정법
  • 모집단이 미지의 모수 $\theta$에 의존하는 확률밀도함수 $f(x; \theta)$를 따르고 확률표본 $X_1, X_2, \cdots, X_n$으로부터 구성된 관측값 $x_1, x_2, \cdots, x_n$에 대하여 다음과 같은 결합확률밀도함수를 $\theta$의 우도함수 (likelihood function)라고 한다. $$ L(\theta) = L(\theta; x_1, x_2, \cdots, x_n) = \prod^n_{i = 1} f(x_i; \theta) $$
  • 우도함수 $L(\theta)$를 최대로 하는 $\theta$ 값에 대한 추정량 $\hat \theta$을 최대우도추정량 (maximum likelihood estimator, MLE)라고 한다.

 

Examples

1. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim Pois(\theta)$로부터 추출한 확률표본이라고 할 때 $\theta$에 대한 우도함수를 구하시오. 여기서 $X$의 확률질량함수는 다음과 같다. 
   $$ f(x; \theta) = \bigg\{\begin{array}{lr}
            \frac{e^{-\theta} \theta^x}{x!}, & x = 0, 1, \cdots  \\
            0, & \text{otherwise}
           \end{array} $$
           \begin{equation*}
        \begin{aligned}
                L(\theta)
                & = \prod^n_{i = 1} f(x_i; \theta) \\
                & = \frac{e^{-\theta} \theta^{x_1}}{x_1!} \frac{e^{-\theta} \theta^{x_2}}{x_2!} \cdots \frac{e^{-\theta} \theta^{x_n}}{x_n!} \\
                & = \frac{e^{-n\theta} \theta^{\sum^n_{i = 1} x_i}}{x_1! x_2! \cdots x_n!}
            \end{aligned}
        \end{equation*}
2. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim Exp(\theta)$으로부터 추출한 확률표본이라고 할 때 $\theta$에 대한 우도함수를 구하시오. 여기서 $X$의 확률밀도함수는 다음과 같다. 
   $$ f(x; \theta) = \bigg\{\begin{array}{lr}
            \theta e^{-\theta x}, & x \ge 0 \\
            0, & \text{otherwise}
           \end{array} $$
           \begin{equation*}
        \begin{aligned}
                L(\theta)
                & = \prod^n_{i = 1} f(x_i; \theta) \\
                & = \theta e^{-\theta x_1} \theta e^{-\theta x_2} \cdots \theta e^{-\theta x_n} \\
                & = \theta^n e^{-\theta \sum^n_{i = 1} x_i}
            \end{aligned}
        \end{equation*}

 

•  최대우도추정량
  • 최대우도추정량을 구하기 위해서는 주로 우도함수에 로그 (log)를 취한 함수, 즉 로그우도함수 $l(\theta) = \text{log} L(\theta)$를 미분하여 0이 되는 값을 찾는다. $$ \frac{\partial}{\partial \theta} l(\theta)  = 0 $$
  • 로그는 단조증가함수이기 때문에 $L(\theta)$를 최대화하는 $\theta$ 값과 $l(\theta)$를 최대화하는 $\theta$ 값이 같다.
  • 미분을 통해 해를 구하기 어렵거나 데이터에 결측이 있는 경우에 사용하는 뉴턴-랩슨 방법 (Newton–Raphson method)이나 EM 알고리즘 (Expectation–maximization algorithm)을 통해서도 최대우도추정량을 구할 수 있다.

 

Examples

1. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim Pois(\theta)$로부터 추출한 확률표본이라고 할 때 $\theta$에 대한 최대우도추정량 $\hat \theta$을 구하시오. 여기서 $\theta$의 우도함수는 다음과 같다. 
   $$ L(\theta) = \frac{e^{-n\theta} \theta^{\sum^n_{i = 1} x_i}}{x_1! x_2! \cdots x_n!} $$
           \begin{equation*}
        \begin{aligned}
                \frac{\partial}{\partial \theta} l(\theta)
                & = \frac{\partial}{\partial \theta} \text{log} L(\theta) \\
                & = \frac{\partial}{\partial \theta} \left(-n\theta + \text{log} \theta \sum^n_{i = 1} x_i - \sum^n_{i = 1} \text{log} (x_i !) \right) \\
                & = -n + \frac{1}{\theta} \sum^n_{i = 1} x_i = 0 
            \end{aligned}
        \end{equation*}
        $$ \therefore ~~~ \hat \theta = \frac{1}{n} \sum^n_{i = 1} x_i = \overline{x} $$
2. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim Exp(\theta)$으로부터 추출한 확률표본이라고 할 때 $\theta$에 대한 최대우도추정량 $\hat \theta$을 구하시오. 여기서 $\theta$의 우도함수는 다음과 같다. 
   $$ L(\theta) = \theta^n e^{-\theta \sum^n_{i = 1} x_i} $$
           \begin{equation*}
        \begin{aligned}
                \frac{\partial}{\partial \theta} l(\theta)
                & = \frac{\partial}{\partial \theta} \text{log} L(\theta) \\
                & = \frac{\partial}{\partial \theta} \left(n \text{log} \theta - \theta \sum^n_{i = 1} x_i \right) \\
                & = \frac{n}{\theta} - \sum^n_{i = 1} x_i = 0 
            \end{aligned}
        \end{equation*}
        $$ \therefore ~~~ \hat \theta = \frac{n}{\sum^n_{i = 1} x_i} = \frac{1}{\overline{x}} $$
3. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim N(\mu, \sigma^2)$으로부터 추출한 확률표본이라고 할 때 $\mu$와 $\sigma^2$에 대한 최대우도추정량 $\hat \mu$와 $\hat \sigma^2$을 구하시오. 여기서 $X$의 확률밀도함수는 다음과 같다. 
   $$ f(x; \mu, \sigma^2) = \frac{1}{\sigma \sqrt{2\pi}} \exp \left[ -\frac{(x - \mu)^2}{2\sigma^2} \right], -\infty < x < \infty $$
           \begin{equation*}
        \begin{aligned}
                L(\mu, \sigma^2)
                & = \prod^n_{i = 1} f(x_i; \mu, \sigma^2) \\
                & = \frac{1}{\sigma \sqrt{2\pi}} \exp \left[ -\frac{(x_1 - \mu)^2}{2\sigma^2} \right] \cdots \frac{1}{\sigma \sqrt{2\pi}} \exp \left[ -\frac{(x_n - \mu)^2}{2\sigma^2} \right] \\
                & = \left(\frac{1}{\sigma \sqrt{2\pi}}\right)^n \exp \left[ -\frac{\sum^n_{i = 1}(x_i - \mu)^2}{2\sigma^2} \right]
            \end{aligned}
        \end{equation*}
   \begin{equation*}
        \begin{aligned}
            l(\mu, \sigma^2)
            & = \text{log} L(\mu, \sigma^2) \\
            & = -n \text{log}(\sigma \sqrt{2\pi}) - \frac{1}{2\sigma^2} \sum^n_{i = 1}(x_i - \mu)^2 \\
            & = - \frac{n}{2} \text{log}(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum^n_{i = 1}(x_i - \mu)^2 \\
            \\
            \frac{\partial}{\partial \mu} l(\mu, \sigma^2)
            & = \frac{1}{\sigma^2} \sum^n_{i = 1}(x_i - \mu) = 0 \\
            \frac{\partial}{\partial \sigma^2} l(\mu, \sigma^2)
            & = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} \sum^n_{i = 1}(x_i - \mu)^2 = 0 \\
        \end{aligned}
       \end{equation*}
       $$ \therefore ~~~ \hat \mu = \frac{1}{n}\sum^n_{i = 1}x_i = \overline{x}, ~~~ \hat \sigma^2 = \frac{1}{n}\sum^n_{i = 1}(x_i - \mu)^2 = \frac{1}{n}\sum^n_{i = 1}(x_i - \overline{x})^2$$
4. $X_1, X_2, \cdots, X_n$을 모집단 $X \sim U(0, \theta)$으로부터 추출한 확률표본이라고 할 때 $\theta$에 대한 최대우도추정량 $\hat \theta$를 구하시오. 여기서 $X$의 확률밀도함수는 다음과 같다. 
   $$ f(x; \theta) = \bigg\{\begin{array}{lr}
            \frac{1}{\theta}, & 0 \le x \le \theta \\
            0, & \text{otherwise}
           \end{array} $$
           \begin{equation*}
        \begin{aligned}
                L(\theta)
                & = \prod^n_{i = 1} f(x_i; \theta) \\
                & = \left(\frac{1}{\theta}\right)^n
            \end{aligned}
        \end{equation*}
           $$ \therefore ~~~ \hat \theta = \text{max}\{x_1, x_2, \cdots, x_n\} = x_{(n)}$$