2. 확률변수와 확률분포 (Random variable and Probability distribution)

• 확률변수
  • 확률변수 (random variable)란 실험의 각 결과, 즉 근원사건에 실수값을 대응시키는 함수 (실함수, real-valued function)를 의미한다. $$ X : \Omega \rightarrow \mathbb{R} $$
  • 확률변수 $X$가 가지는 실수값들의 집합 $\Omega_X$을 공역(codomain)이라고 한다.
  • $\Omega_X$가 유한집합이거나 셀 수 있는 집합이면 $X$를 이산확률변수 (discrete random variable)라고 하고 $\Omega_X$가 연속적인 값을 갖고 셀 수 없는 집합이면 $X$를 연속확률변수 (continuous random variable)라고 한다.

 

Examples

두 개의 주사위를 동시에 던지는 실험

1. 나온 숫자의 합을 확률변수 $X$라고 하면 $X$의 공역은 다음과 같다. $$ \Omega_X = \{2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12\} $$
2. 나온 숫자의 차를 확률변수 $Y$라고 하면 $Y$의 공역은 다음과 같다. $$ \Omega_Y = \{0, 1, 2, 3, 4, 5\} $$

 

• 확률분포
  • 확률변수 $X$가 가질 수 있는 모든 값들과 이에 대응하는 확률을 함수식이나 그래프로 나타낸 것을 확률변수 $X$의 확률분포 (probability distribution)라고 한다.
  • 이때 확률변수 $X$가 이산확률변수이면 이산확률분포 (discrete probability distribution), 연속확률변수이면 연속확률분포 (continuous probability distribution)라고 한다.

 

• 이산확률분포
  • 확률변수 $X$와 공역 $\Omega_X = \{x_1, x_2, \cdots\}$에 대해 대응하는 확률을 $f_X(x_k) = P(X = x_k)$라고 하면, $X$의 이산확률분포는 $(x_k, f_X(x_k)), k = 1, 2, \cdots$ 이다.
  • $f_X(x_k) = P(X = x_k)$가 다음 두 조건을 만족하면 $f_X$를 $X$의 확률질량함수 (probability mass function, pmf)라고 한다. 
    1. $ \text{모든 } x_k \in \Omega_X \text{에 대해, } 0 \leq f_X(x_k) \leq 1 $
    2. $ \Omega_X = \{x_1, x_2, \cdots \} \text{에 대해, } \sum_{x_k \in \Omega_X} f_X(x_k) = 1 $
  • 이산확률변수 $X$의 확률질량함수가 $f_X(x_k)$일 때, 다음 함수 $F_X(x)$를 $X$의 누적분포함수 (cumulative distribution function, cdf)라고 한다. $$ F_X(x) = P(X \leq x) = \sum_{x_k \in (-\infty, x] \cap \Omega_X} f_X(x_k) $$

 

• 연속확률분포
  • 확률변수 $X$와 임의의 실수 구간 $[a, b]$에 대해, 다음 식을 만족하는 $f_X(x)$가 존재하면 $X$를 연속확률변수라고 하고 $f_X(x)$를 $X$의 확률밀도함수 (probability density function, pdf)라고 한다. $$ P(a \leq X \leq b) = \int^b_a f_X(x) dx, $$ 여기서 모든 $x \in \mathbb{R}$에 대해 $f_X(x) \geq 0$ 이고 $\int^\infty_{-\infty} f_X(x) dx = 1$이 된다.
  • 연속확률변수 $X$의 확률밀도함수가 $f_X(x)$일 때, 다음 함수 $F_X(x)$를 $X$의 누적분포함수 (cumulative distribution function, cdf)라고 한다. $$ F_X(x) = P(X \leq x) = \int^x_{-\infty} f_X(t) dt $$

 

• 누적분포함수
  1. $\lim\limits_{x \to -\infty} F_X(x) = 0, \lim\limits_{x \to \infty} F_X(x) = 1$
  2. $a \leq b$가 성립하는 모든 $a, b \in \mathbb{R}$에 대하여 $F(a) \leq F(b)$
  3. 모든 $a \in \mathbb{R}$에 대하여 $F(a^+) = F(a)$ (i.e., 우연속 함수)
  4. $\frac{\partial}{\partial x}F_X(x) = f_X(x)$

 

• 이산확률변수의 결합확률분포
  • 두 이산확률변수 $X$와 $Y$에 대해 $f(x, y) = P(X = x, Y = y)$가 다음 두 조건을 만족하면 $f(x, y)$를 $X$와 $Y$의 결합확률질량함수 (joint probability mass function, joint pmf)라고 한다. 
    1. $ \text{모든 } x_i \in \Omega_X, y_j \in \Omega_Y \text{에 대해, }$ $$ 0 \leq f(x_i,y_j) \leq 1 $$
    2. $ \Omega_X = \{x_1, x_2, \cdots \}, \Omega_Y = \{y_1, y_2, \cdots \} \text{에 대해,}$  $$ \displaystyle\sum_{x_i \in \Omega_X} \sum_{y_j \in \Omega_Y} f(x_i, y_j) = 1 $$
  • 두 이산확률변수 $X$와 $Y$의 결합확률질량함수가 $f(x, y)$일 때, 다음 함수 $F(x, y)$를 $X$와 $Y$의 결합누적분포함수 (joint cumulative distribution function, joint cdf)라고 한다. $$ F(x, y) = P(X \leq x, Y \leq y) = \sum_{x_i \in (-\infty, x] \cap \Omega_X}\sum_{y_j \in (-\infty, y] \cap \Omega_Y} f(x_i, y_j) $$

 

• 이산확률변수의 주변확률분포
  • 두 이산확률변수 $X$와 $Y$에 대해 $f(x, y) = P(X = x, Y = y)$가 $X$와 $Y$의 결합확률질량함수이면, $X$와 $Y$의 각각에 대한 주변확률질량함수 (marginal probability mass function, marginal pmf)는 다음 식으로 정의된다. $$ f_X(x) = \displaystyle\sum_{y \in \Omega_Y} f(x, y), ~~~ f_Y(y) = \displaystyle\sum_{x \in \Omega_X} f(x, y)$$

 

Examples

주사위를 던지는 시행에 대하여 확률변수 $X$를 3의 배수가 나오면 1 (나오지 않으면 0), $Y$를 5의 배수가 나오면 1 (나오지 않으면 0) 이라 할 때

• $X$와 $Y$의 결합확률질량함수를 구하면 

$ X ~\backslash~ Y$	0	1	Total
0	10 / 18	2 / 18	2 / 3
1	5 / 18	1 / 18	1 / 3
Total	5 / 6	1 / 6	1

• $X$의 주변확률질량함수를 구하면 $$ P(X = x) = \bigg\{\begin{array}{lr}
           P(X = 0, Y = 0) + P(X = 0, Y = 1) = 2/3, & x = 0 \\
           P(X = 1, Y = 0) + P(X = 1, Y = 1) = 1/3, & x = 1 \\
          \end{array} $$

 

• 연속확률변수의 결합확률분포
  • 두 연속확률변수 $X$, $Y$와 평면상의 임의의 영역 $(x, y) \in A \times B$에 대해, 다음 식을 만족하는 $f(x, y)$가 존재하면 $f(x, y)$를 $X$와 $Y$의 결합확률밀도함수 (joint probability density function, joint pdf)라고 한다. $$ P((x, y) \in A \times B) = \int_A \int_B f(x, y) dxdy, $$ 여기서 모든 $(x, y)$에 대해 $f(x, y) \geq 0$ 이고 $\int^\infty_{-\infty} \int^\infty_{-\infty} f(x, y) dxdy = 1$이 된다.
  • 두 연속확률변수 $X$와 $Y$의 결합확률밀도함수가 $f(x, y)$일 때, 다음 함수 $F(x, y)$를 $X$와 $Y$의 결합누적분포함수 (joint cumulative distribution function, joint cdf)라고 한다. $$ F(x, y) = P(X \leq x, Y \leq y) = \int^x_{-\infty} \int^y_{-\infty} f(u, v) dudv $$

 

• 연속확률변수의 주변확률분포
  • 두 연속확률변수 $X$와 $Y$에 대해 $f(x, y)$가 $X$와 $Y$의 결합확률밀도함수이면, $X$와 $Y$의 각각에 대한 주변확률밀도함수 (marginal probability density function, marginal pdf)는 다음 식으로 정의된다. $$ f_X(x) = \int^\infty_{-\infty} f(x, y) dy, ~~~ f_Y(y) = \int^\infty_{-\infty} f(x, y) dx$$

 

Examples

확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $$ f(x, y) = \bigg\{\begin{array}{lr}
         cxy, & 0 < x < y < 1 \\
         0, & \text{otherwise} \\
        \end{array} $$

1. $c$를 구하면 $$ 1 = \int^1_0 \int^y_0 f(x, y) ~~ dx dy = \int^1_0 \int^y_0 cxy ~~ dx dy = \int^1_0 \frac{c}{2}y^3 ~~ dy = c / 8 $$ $$ \therefore ~ c = 8 $$
2. $X$의 주변확률밀도함수를 구하면 $$ f_X(x) = \int^1_x 8xy ~~ dy = 4x - x^3 $$ $$ \therefore ~ f_X(x) = \bigg\{\begin{array}{lr}
            4x(1 - x^2), & 0 < x < 1 \\
            0, & \text{otherwise} \\
           \end{array} $$

 

•  조건부확률분포
  • 두 확률변수 $X$와 $Y$가 결합확률밀도(질량)함수 $f(x, y)$를 가진다면, 확률변수 $X$에 대해 $x$라는 사건이 일어난 조건 하에서 $Y$의 조건부확률밀도(질량)함수 (conditional pdf(pmf))는 다음 식으로 정의된다. $$ f_{Y | x}(y | x) = \frac{f(x, y)}{f_X(x)}, ~ f_X(x) > 0 $$
  • 조건부확률변수는 $Y|x$로 나타내기도 한다.

 

Examples

확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $$ f(x, y) = \bigg\{\begin{array}{lr}
         8xy, & 0 < x < y < 1 \\
         0, & \text{otherwise} \\
        \end{array} $$

1. $X$의 주변확률밀도함수를 구하면 $$ f_X(x) = \bigg\{\begin{array}{lr}
            4x(1 - x^2), & 0 < x < 1 \\
            0, & \text{otherwise} \\
           \end{array} $$
2. 조건부확률밀도함수 $f_{Y|x}(y|x)$를 구하면 $$ f_{Y|x}(y|x) = \frac{f(x, y)}{f_X(x)} = \frac{8xy}{4x(1 - x^2)} $$ $$ \therefore ~ f_{Y|x}(y|x) = \bigg\{\begin{array}{lr}
            \frac{2y}{1 - x^2}, & x < y < 1 \\
            0, & \text{otherwise} \\
           \end{array} $$

 

• 확률변수의 기댓값
  • 확률변수 $X$의 평균 (mean)은 기댓값 (expected value, expectation)이라고도 하며 $E(X)$ 또는 $\mu_X$로 나타내기도 한다. $X$의 공역이 $\Omega_X$이고 확률질량함수 또는 확률밀도함수로 $f_X(x)$를 갖는다면 $X$의 기댓값 $E(X)$는 다음과 같이 정의한다.
    1. $X$가 이산형, $$ E(X) = \sum_{x \in \Omega_X} x \cdot P(X = x) = \sum_{x \in \Omega_X} x \cdot f_X(x) $$ 
    2. $X$가 연속형, $$ E(X) = \int_{\Omega_X} x \cdot f_X(x) dx = \int^\infty_{-\infty} x \cdot f_X(x) dx $$ 

 

• 확률변수의 기댓값
  • 확률변수 $X$와 임의의 상수 $a, b$에 대해 다음 식이 성립한다. $$ E(aX + b) = aE(X) + b $$ 
  • 확률변수 $X$가 분포함수 $f_X(x)$를 갖고 $g(x)$가 적분가능이면, 확률변수 $g(X)$의 기댓값은 다음과 같이 정의한다. $$ X\text{가 이산형, } E(g(X)) = \sum_{x \in \Omega_X} g(x) \cdot f_X(x) $$ $$ X\text{가 연속형, } E(g(X)) = \int_{\Omega_X} g(x) \cdot f_X(x) dx $$ 

 

Examples

두 개의 주사위를 동시에 던지는 실험에서 나온 숫자의 차를 확률변수 $X$라고 하면 

• $X$의 공역은 $$ \Omega_X = \{0, 1, 2, 3, 4, 5\} $$
• $X$의 분포는

$X$	0	1	2	3	4	5
$P(X = x)$	6 / 36	10 / 36	8 / 36	6 / 36	4 / 36	2 / 36

• $X$의 평균은 $$ E(X) = 0 \cdot \frac{6}{36} + 1 \cdot \frac{10}{36} + 2 \cdot \frac{8}{36} + 3 \cdot \frac{6}{36} + 4 \cdot \frac{4}{36} + 5 \cdot \frac{2}{36} = \frac{35}{18} $$

 

Examples

확률변수 $Y$의 확률밀도함수가 $ f_Y(y) = \bigg\{\begin{array}{lr}
         c e^{-2y}, & y \geq 0  \\
         0, & y < 0
    \end{array}$라고 하면 

1. $c$의 값은 $$ \int^\infty_0 c e^{-2y} dy = \bigg[-\frac{c}{2}e^{-2y}\bigg]^\infty_0 = 0 - (-\frac{c}{2}) = 1 $$ $$ \therefore ~ c = 2 $$
2. $Y$의 평균은 
        \begin{equation*}
        \begin{aligned}
        E(Y) &= \int^\infty_0 y \cdot 2 e^{-2y} dy \\
        &= \bigg[y \cdot \frac{2}{-2} e^{-2y}\bigg]^\infty_0 - \int^\infty_0 -e^{-2y} dy \\
        &= 0 - \bigg[\frac{-1}{-2} e^{-2y}\bigg]^\infty_0 = \frac{1}{2} \\
        \end{aligned}
        \end{equation*}

 

• 확률변수의 분산과 표준편차
  • 확률변수 $X$의 확률밀도함수 $f_X(x)$와 기댓값 $\mu_X$를 가지고 $\Omega_X$가 $X$의 공역일 때, $X$의 분산 (variance) $Var(X)$와 표준편차 (standard deviation) $\sigma_X$는 다음과 같이 정의한다.
    1. $X$가 이산형, $$ Var(X) = \sigma^2_X = E(X - \mu_X)^2 = \sum_{x \in \Omega_X} (x - \mu_X)^2 \cdot f_X(x) $$ 
    2. $X$가 연속형, $$ Var(X) = \sigma^2_X = E(X - \mu_X)^2 = \int_{\Omega_X} (x - \mu_X)^2 \cdot f_X(x) dx $$ 
  • $$ \text{cf. } Var(X) = \sigma^2_X = E(X - \mu_X)^2 = E(X^2) - \mu^2_X $$

 

• 마르코프 부등식
  • 마르코프 부등식 (Markov’s Inequality) : 음이 아닌 확률변수 $X$의 평균이 $E(X)$이면, 임의의 양의 실수 $k \in \mathbb{R}^+$에 대해 다음 부등식이 성립한다. $$ P(X \ge k) ~ \le ~ \frac{E(X)}{k} $$
    
    
  • proof) \begin{equation*}
    \begin{aligned}
    E(X) 
    & = \int_\Omega x \cdot f(x) dx \\
    & = \int_{\{x \in \Omega : x < k\}} x \cdot f(x) dx + \int_{\{x \in \Omega : x \ge k\}} x \cdot f(x) dx \\
    & \ge \int_{\{x \in \Omega : x \ge k\}} x \cdot f(x) dx \\
    & \ge \int_{\{x \in \Omega : x \ge k\}} k \cdot f(x) dx \\
    & \ge k \int_{\{x \in \Omega : x \ge k\}} f(x) dx \\
    & \ge k P(X \ge k) \\
    \end{aligned}
    \end{equation*}

 

• 체비셰프 부등식
  • 체비셰프 부등식 (Chebyshev’s Inequality) : 확률변수 $X$의 평균이 $\mu$, 표준편차가 $\sigma$이면, 임의의 $\epsilon > 0$에 대해 다음 부등식이 성립한다. $$ P(|X - \mu| \le \epsilon) ~ \ge ~ 1 - \frac{\sigma^2}{\epsilon^2} $$
  • proof) \begin{equation*}
    \begin{aligned}
    \sigma^2
    & = \int_\Omega (x - \mu)^2 \cdot f(x) dx \\
    & \ge \int_{\{x \in \Omega : x < \mu - \epsilon\}} (x - \mu)^2 \cdot f(x) dx + \int_{\{x \in \Omega : x > \mu + \epsilon\}} (x - \mu)^2 \cdot f(x) dx \\
    & \ge \int_{\{x \in \Omega : x < \mu - \epsilon\}} \epsilon^2 \cdot f(x) dx + \int_{\{x \in \Omega : x > \mu + \epsilon\}} \epsilon^2 \cdot f(x) dx \\
    & \ge \epsilon^2 \int_{\{x \in \Omega : |x - \mu| > \epsilon\}} f(x) dx \\
    & \ge \epsilon^2 P(|X - \mu| > \epsilon) ~~~ \ge \epsilon^2 \{1 - P(|X - \mu| \le \epsilon)\}\\
    \end{aligned}
    \end{equation*}

 

Examples

어떤 지역의 월세를 확률변수 $X$라 하고 $X$의 평균 $\mu = 30$, 표준편차 $\sigma = 5$일 때

1. $X$가 60 이상일 확률은
   \begin{equation*}
   \begin{aligned}
   P(X \ge 60)
   & \le \frac{30}{60} \\
   & \le \frac{1}{2} \\
   \end{aligned}
   \end{equation*}
2. $X$가 평균과 10 이내의 차이일 확률은
   \begin{equation*}
   \begin{aligned}
   P(|X - \mu| \le 10)
   & \ge 1 - \frac{5^2}{10^2} \\
   & \ge 1 - \frac{1}{4} \\
   & \ge \frac{3}{4} \\
   \end{aligned}
   \end{equation*}

 

• 두 확률변수의 기댓값과 독립
  • 두 확률변수 $X$와 $Y$가 결합확률밀도(질량)함수 $f(x, y)$를 갖고 $g(x, y)$가 적분가능이면, 확률변수 $g(X, Y)$의 기댓값은 다음과 같이 정의한다. $$ X, Y\text{가 이산형, } E(g(X, Y)) = \displaystyle\sum_{x \in \Omega_X}\sum_{y \in \Omega_Y} g(x, y) \cdot f(x, y) $$ $$ X, Y\text{가 연속형, } E(g(X, Y)) = \int^\infty_{-\infty} \int^\infty_{-\infty} g(x, y) \cdot f(x, y) dxdy $$ 
  • 두 확률변수 $X$와 $Y$의 주변확률밀도(질량)함수를 각각 $f_X(x), f_Y(y)$라고 하면 $X$와 $Y$가 서로 독립일 필요충분조건은 임의의 $x \in \Omega_X$와 $y \in \Omega_Y$에 대해 다음 식이 성립하는 것이다. $$ f(x, y) = f_X(x)f_Y(y) $$
  • 두 확률변수 $X$와 $Y$가 서로 독립이면 다음 식이 성립한다. $$ E(XY) = E(X)E(Y) $$
  • proof) \begin{equation*}
         \begin{aligned}
             E(XY) 
             & = \int^\infty_{-\infty} \int^\infty_{-\infty} xy \cdot f(x, y) ~ dxdy \\
         & = \int^\infty_{-\infty} \int^\infty_{-\infty} xy \cdot f_X(x) f_Y(y) ~ dxdy \\
         & = \int^\infty_{-\infty} x \cdot f_X(x) dx \int^\infty_{-\infty} y \cdot f_Y(y) dy \\
         & = E(X)E(Y)
         \end{aligned}
        \end{equation*}
  • 역은 성립하지 않는다.

 

Examples

확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $$ f(x, y) = \bigg\{\begin{array}{lr}
         8xy, & 0 < x < y < 1 \\
         0, & \text{otherwise} \\
        \end{array} $$

• $X$와 $Y$의 독립성을 확인하면 $$ f_X(x) = \int^1_x 8xy ~ dy = 4x(1 - x^2) $$ $$ f_Y(y) = \int^y_0 8xy ~ dx = 4y^3 $$ $$ \therefore ~ f(x, y) \neq f_X(x) f_Y(y)$$

 

• 두 확률변수의 공분산
  • 두 확률변수 $X$와 $Y$의 공분산 (covariance)은 다음과 같이 정의한다. $$ Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] = E[(X - E(X))(Y - E(Y))] $$
  • $a$와 $b$가 상수일 때, 두 확률변수 $X$와 $Y$에 대해 다음 식이 성립한다.
    1. $Cov(X, Y) = E(XY) - E(X)E(Y)$
    2. $Cov(aX, bY) = abCov(X, Y)$
    3. $Var(aX + bY) = a^2 Var(X) + b^2 Var(Y) + 2abCov(X, Y)$

 

• 공분산의 성질
  1. $Cov(X, Y) = E(XY) - E(X)E(Y)$
     \begin{equation*}
              \begin{aligned}
                  Cov(X, Y)
              & = E[(X - \mu_X)(Y - \mu_Y)] \\
              & = E[XY - \mu_Y X - \mu_X Y + \mu_X\mu_Y] \\
              & = E(XY) - \mu_Y\mu_X - \mu_X\mu_Y + \mu_X\mu_Y \\
              & = E(XY) - \mu_X\mu_Y
              \end{aligned}
             \end{equation*}
  2. $Cov(aX, bY) = abCov(X, Y)$
     \begin{equation*}
              \begin{aligned}
                  Cov(aX, bY)
                  & = E[(aX - a\mu_X)(bY - b\mu_Y)] \\
              & = abE(XY) - ab\mu_Y\mu_X - ab\mu_X\mu_Y + ab\mu_X\mu_Y \\
              & = abE(XY) - ab\mu_X\mu_Y \\
              & = abCov(X, Y)
              \end{aligned}
             \end{equation*}
  3. $Var(aX + bY) = a^2 Var(X) + b^2 Var(Y) + 2abCov(X, Y)$
     \begin{equation*}
              \begin{aligned}
                  Var(aX + bY)
              & = E[\{(aX + bY) - (a\mu_X + b\mu_Y)\}^2] \\
              & = E[a^2(X - \mu_X)^2 + b^2(Y - \mu_Y) + 2ab(X - \mu_X)(Y - \mu_Y)] \\
              & = a^2Var(X) + b^2Var(Y) + 2abCov(X, Y)
              \end{aligned}
             \end{equation*}

 

• 두 확률변수의 상관계수
  • 두 확률변수 $X$와 $Y$의 상관계수 (correlation)은 다음과 같이 정의한다. $$ Cor(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X) Var(Y)}} $$ 
  • 두 확률변수 $X$와 $Y$가 서로 독립이면 다음 식이 성립한다.
    1. $Cor(X, Y) = Cov(X,Y) = 0$
    2. $Var(X \pm Y) = Var(X) + Var(Y)$
  • $r_{XY}$ 또는 $\rho_{XY}$로 나타내기도 한다.

 

• 상관계수의 성질
  1. $Cor(X, Y) = Cov(X,Y) = 0$
     \begin{equation*}
              \begin{aligned}
                  Cor(X, Y)
              & = \frac{Cov(X, Y)}{\sqrt{Var(X) Var(Y)}} \\
              & = \frac{E(XY) - E(X)E(Y)}{\sqrt{Var(X) Var(Y)}} \\
              & = \frac{0}{\sqrt{Var(X) Var(Y)}} \\
              & = 0
              \end{aligned}
             \end{equation*}
  2. $Var(X \pm Y) = Var(X) + Var(Y)$
     \begin{equation*}
              \begin{aligned}
                  Var(X \pm Y)
                  & = Var(X) + Var(Y) \pm 2Cov(X, Y) \\
                  & = Var(X) + Var(Y)
              \end{aligned}
             \end{equation*}