5. 이변량 분포 (Bivariate distribution)

• Review - 결합확률밀도함수
  • 두 연속확률변수 $X$, $Y$와 평면상의 임의의 영역 $(x, y) \in A \times B$에 대해, 다음 식을 만족하는 $f(x, y)$가 존재하면 $f(x, y)$를 $X$와 $Y$의 결합확률밀도함수 (joint pdf)라고 한다. $$ P((x, y) \in A \times B) = \int_A \int_B f(x, y) dxdy, $$ 여기서 모든 $(x, y)$에 대해 $f(x, y) \geq 0$ 이고 $\int^\infty_{-\infty} \int^\infty_{-\infty} f(x, y) dxdy = 1$이 된다.

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $c$를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            c, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ 1 = \int^2_0 \int^y_0 c ~ dxdy = \int^2_0 cy ~ dy = 2c $$ $$ \therefore ~ c = \frac{1}{2} $$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $c$를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            c, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ 1 = \int^2_0 \int^2_0 c ~ dxdy = \int^2_0 2c ~ dy = 4c $$ $$ \therefore ~ c = \frac{1}{4} $$

 

• Review - 결합누적분포함수
  • 두 연속확률변수 $X$와 $Y$의 결합확률밀도함수가 $f(x, y)$일 때, 다음 함수 $F(x, y)$를 $X$와 $Y$의 결합누적분포함수 (joint cdf)라고 한다. $$ F(x, y) = P(X \leq x, Y \leq y) = \int^x_{-\infty} \int^y_{-\infty} f(u, v) dudv $$
  • $\lim\limits_{x \to -\infty} \lim\limits_{y \to -\infty} F(x, y) = 0, \lim\limits_{x \to \infty} \lim\limits_{y \to \infty} F(x, y) = 1$
  • $\frac{\partial^2}{\partial x \partial y}F(x, y) = f(x, y)$
  • $F(x, -\infty) = F(-\infty, y) = F(-\infty, -\infty) = 0$
  • $F(\infty, \infty) = 1$

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 결합누적분포함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ F(x, y) = \int^x_0 \int^y_0 \frac{1}{2} dudv = \int^x_0 \frac{1}{2}y ~ dv = \frac{1}{2}xy, x < y $$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 결합누적분포함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{4}, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ F(x, y) = \int^x_0 \int^y_0 \frac{1}{4} dudv = \int^x_0 \frac{1}{4}y ~ dv = \frac{1}{4}xy $$

 

•  Review - 주변확률밀도함수
  • 두 연속확률변수 $X$와 $Y$에 대해 $f(x, y)$가 $X$와 $Y$의 결합확률밀도함수이면, $X$와 $Y$의 각각에 대한 주변확률밀도함수 (marginal pdf)는 다음 식으로 정의된다. $$ f_X(x) = \int^\infty_{-\infty} f(x, y) dy, ~~~ f_Y(y) = \int^\infty_{-\infty} f(x, y) dx$$

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 주변확률밀도함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_X(x) = \int^2_x \frac{1}{2} dy = 1 - \frac{1}{2}x,~ 0 < x < 2 ~~~~ f_Y(y) = \int^y_0 \frac{1}{2} dx = \frac{1}{2}y,~ 0 < y < 2 $$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 주변확률밀도함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{4}, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_X(x) = \int^2_0 \frac{1}{4} dy = \frac{1}{2},~ 0 < x < 2 ~~~~ f_Y(y) = \int^2_0 \frac{1}{4} dx = \frac{1}{2},~ 0 < y < 2 $$

 

• Review - 조건부확률분포
  • 두 확률변수 $X$와 $Y$가 결합확률밀도함수 $f(x, y)$를 가진다면, 확률변수 $X$에 대해 $x$라는 사건이 일어난 조건 하에서 $Y$의 조건부확률밀도함수 (conditional pdf)는 다음 식으로 정의된다. $$ f_{Y | x}(y | x) = \frac{f(x, y)}{f_X(x)}, ~ f_X(x) > 0 $$
  • 조건부확률변수는 $Y|x$로 나타내기도 한다.

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 조건부확률밀도함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_{X|y}(x|y) = \frac{f(x, y)}{f_Y(y)} = \frac{1}{y},~ 0 < x < y ~~~~ f_{Y|x}(y|x) = \frac{f(x, y)}{f_X(x)} = \frac{1}{2 - x},~ x < y < 2 $$
   $$ E(X|y) = \int^\infty_{-\infty} x \cdot f_{X|y}(x|y) ~ dx = \int^y_0 x \cdot \frac{1}{y} ~ dx = \frac{y}{2} $$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 조건부확률밀도함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{4}, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_{X|y}(x|y) = \frac{f(x, y)}{f_Y(y)} = \frac{1}{2},~ 0 < x < 2 ~~~~ f_{Y|x}(y|x) = \frac{f(x, y)}{f_X(x)} = \frac{1}{2},~ 0 < y < 2 $$

 

• Review - 독립
  • 두 확률변수 $X$와 $Y$의 주변확률밀도함수를 각각 $f_X(x), f_Y(y)$라고 하면 $X$와 $Y$가 서로 독립일 필요충분조건은 임의의 $x \in \Omega_X$와 $y \in \Omega_Y$에 대해 다음 식이 성립하는 것이다. $$ f(x, y) = f_X(x)f_Y(y) $$
  • $X$와 $Y$가 서로 독립이면 
    1. $ f_{Y | x}(y | x) = \frac{f(x, y)}{f_X(x)} = \frac{f_X(x) f_Y(y)}{f_X(x)} = f_Y(y) $
    2. $ F(x, y) = F_X(x) F_Y(y) $

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 독립성을 확인하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_X(x) f_Y(y) = \biggl(1 - \frac{1}{2}x \biggr) \frac{1}{2}y ~~~ \therefore ~ f(x, y) \neq f_X(x) f_Y(y) \text{ (dependent)}$$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 독립성을 확인하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{4}, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ f_X(x) f_Y(y) = \frac{1}{2} \cdot \frac{1}{2} ~~~ \therefore ~ f(x, y) = f_X(x) f_Y(y) \text{ (independent)}$$

 

• Review - 기댓값
  • 두 확률변수 $X$와 $Y$가 결합확률밀도함수 $f(x, y)$를 갖고 $g(x, y)$가 적분가능이면, 확률변수 $g(X, Y)$의 기댓값은 다음과 같이 정의한다. $$ E[g(X, Y)] = \int^\infty_{-\infty} \int^\infty_{-\infty} g(x, y) \cdot f(x, y) dxdy $$ 
  • $E(X + Y) = E(X) + E(Y)$
  • $X$와 $Y$가 서로 독립이면 $ E(XY) = E(X)E(Y) $

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $X + Y$, $XY$의 기댓값을 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ E[X + Y] = \int^2_0 \int^y_0 (x + y) \frac{1}{2}~ dxdy = 2 ~~~ E[XY] = \int^2_0 \int^y_0 xy \frac{1}{2}~ dxdy = 1$$
2. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 $X + Y$, $XY$의 기댓값을 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{4}, & 0 < x < 2, 0 < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ E[X + Y] = \int^2_0 \int^2_0 (x + y) \frac{1}{4}~ dxdy = 2 ~~~ E[XY] = \int^2_0 \int^2_0 xy \frac{1}{4}~ dxdy = 1 $$

 

• Review - 적률생성함수
  • 임의의 실수 $t \in (-\delta, \delta), \delta > 0$에 대해 기댓값 $E(e^{tX})$가 존재한다면 이 $E(e^{tX})$를 확률변수 $X$의 적률생성함수 (mgf)라고 하며 $M_X(t) \equiv E(e^{tX})$로 나타낸다. 즉, $$ M_X(t) = \int^\infty_{-\infty} e^{tx} f_X(x) dx $$ 
  • $ M_{aX + b}(t) = e^{bt} M_X(at) $
  • 적률생성함수가 동일하면 동일한 분포를 따른다.
  • $X$와 $Y$가 서로 독립이면 $ M_{X + Y}(t) = M_X(t) M_Y(t) $

 

• 결합적률생성함수
  • 두 확률변수 $X$와 $Y$가 결합확률밀도함수 $f(x, y)$를 가진다면, $X$와 $Y$의 결합적률생성함수 (joint moment generating function, joint mgf)는 다음 식으로 정의된다. $$ M_{X, Y}(s, t) \equiv E(e^{sX + tY}) = \int^\infty_{-\infty} \int^\infty_{-\infty} e^{sx + ty} f(x, y) ~ dx dy $$ 
  • $M^{(k)}_{X, Y}(0, 0) = E[(XY)^k]$
  • $M_{X, Y}(s, 0) = M_X(s) = E(e^{sX}), \text{ i.e, marginal of } X$
  • $M_{X, Y}(0, t) = M_Y(t) = E(e^{tY}), \text{ i.e, marginal of } Y$
  • $X$와 $Y$가 서로 독립이면 $ M_{X, Y}(s, t) = M_{X}(s) M_{Y}(t) $

 

Examples

1. 확률변수 $X$와 $Y$의 결합확률밀도함수가 다음과 같을 때 결합적률생성함수를 구하시오. $$ f(x, y) = \bigg\{\begin{array}{lr}
            \frac{1}{2}, & 0 < x < y < 2 \\
            0, & \text{otherwise} \\
           \end{array} $$
   $$ M_{X, Y}(s, t) = \int^2_0 \int^y_0 e^{sx + ty} \frac{1}{2} ~ dxdy = \frac{t e^{2t} (e^{2s} - 1) - s e^{2t} + s}{2st(s + t)}$$ $$ \text{cf)} M_{Y}(t) = M_{X, Y}(0, t) = \lim\limits_{s \to 0} \frac{t e^{2t} (e^{2s} - 1) - s e^{2t} + s}{2st(s + t)} = \frac{2t e^{2t} - e^{2t} + 1}{2t^2} $$

 

• Review - 공분산과 상관계수
  • 두 확률변수 $X$와 $Y$의 공분산 (covariance)은 다음과 같이 정의한다. $$ Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] $$
  • 두 확률변수 $X$와 $Y$의 상관계수 (correlation coefficient)는 다음과 같이 정의한다. $$ Cor(X, Y) = \frac{Cov(X, Y)}{\sqrt{Var(X) Var(Y)}} $$
  • $X$와 $Y$가 서로 독립이면 $ Cor(X, Y) = Cov(X, Y) = 0 $
  • $V = X - \mu_X$, $W = Y - \mu_Y$라 두면 $$ E[(V + tW)^2] \ge 0, \text{ where } t \in \mathbb{R} $$ 위의 제곱식의 전개를 통해 $$ E(W^2) t^2 + 2 E(VW) t + E(V^2) = at^2 + bt + c \ge 0 $$ 위의 2차식에서 판별식을 통해 $$ b^2 - 4ac = \{2E(VW)\}^2 - 4E(W^2)E(V^2) \le 0, $$ i.e. $$ Cov(X, Y)^2 \le Var(X) Var(Y) $$ $$ \therefore ~ |\rho| \leq 1 $$
    등호는 $ V + t_0W = 0 $일 때 성립, i.e., $ X - \mu_X = -t_0(Y - \mu_Y) $

 

• 이변량 분포
  • 확률변수 $X_i, (i = 1, 2, \cdots, k)$를 $n$번의 시행에서 $i$번째 결과가 발생할 횟수라고 하고 $X_i$들이 다음의 결합확률질량함수를 가지면 다항분포 (Multinomial distribution)라고 한다. $$ P(X_1 = x_1, \cdots, X_k = x_k) = \bigg\{\begin{array}{lr}
             \frac{n!}{x_1 ! \cdots x_k !} p_1^{x_1} \cdots p_k^{x_k}, & x_1 + \cdots + x_k = n  \\
             0, & \text{otherwise}
            \end{array} $$
  • 확률변수 $X$와 $Y$가 다음의 결합확률밀도함수를 가지면 이변량 정규분포 (Bivariate  normal distribution) 라고 한다. 여기서 $\mu_X$, $\sigma_X$는 $X$의 평균과 표준편차, $\mu_Y$, $\sigma_Y$는 $Y$의 평균과 표준편차, $\rho$는 $X$와 $Y$의 상관계수이다.
            \begin{equation*}\begin{aligned}
                f(x, y) 
                & = \frac{1}{2\pi \sigma_X \sigma_Y \sqrt{1 - \rho^2}} \times \exp \left[\frac{-1}{2(1 - \rho^2)} \biggl\{ \biggl(\frac{x - \mu}{\sigma_X}\biggr)^2 - 2\rho \biggl(\frac{x - \mu_X}{\sigma_X}\biggr) \biggl(\frac{y - \mu_Y}{\sigma_Y}\biggr) + \biggl(\frac{y - \mu_Y}{\sigma_Y}\biggr)^2\biggr\} \right]
            \end{aligned}\end{equation*}

 

• 이변량 정규분포의 성질
  • $X$의 주변확률분포는 $N(\mu_X, \sigma_X^2)$이다.
  • $Y$의 주변확률분포는 $N(\mu_Y, \sigma_Y^2)$이다.
  • $X = x$일 때, Y의 조건부확률분포는 $N(\mu_Y + \rho \frac{\sigma_Y}{\sigma_X}(x - \mu_X), \sigma_Y^2 (1-\rho^2))$이다.
  • $X$와 $Y$가 이변량 정규분포를 따를 때, 적률생성함수는 다음과 같다. $$ M(t_1, t_2) = E(e^{t_1 x + t_2 y}) = \exp \left[t_1 \mu_X + t_2 \mu_Y + \frac{1}{2}(t_1^2 \sigma_X^2 + 2 \rho t_1 t_2 \sigma_X \sigma_Y + t_2^2 \sigma_Y^2) \right] $$