1. 확률 (Probability)

Lecture/Elementary Stat

1. 확률 (Probability)

repaired_stat 2023. 1. 10. 15:30

순열
- 서로 다른 $n$개의 원소를 순서에 상관있게 선택 혹은 나열하는 경우의 수 $$ n! $$
- 순열 (permutation) : 서로 다른 $n$개의 원소에서 r개를 중복 없이 순서에 상관있게 선택 혹은 나열하는 경우의 수 $$ n\times(n-1)\times(n-2)\times \cdots \times (n-r+1) = \dfrac{n!}{(n-r)!} \equiv {}_nP_r $$

조합
- 조합 (combination) : 서로 다른 $n$개의 원소에서 r개를 중복 없이 순서에 상관없이 선택 혹은 나열하는 경우의 수 $$ \frac{{}_nP_r}{r!} = \dfrac{n!}{(n-r)! r!} \equiv {}_nC_r $$
- $ {}_nC_r $를 이항계수 (binomial coefficient) 라고 부르기도 한다.
- 이항정리 (binomial theorem, binomial expansion) $$ (a + b)^n = \sum_{k=0}^n {}_nC_k ~ a^k ~ b^{n-k} $$

표본공간
- 통계적 실험 (statistical experiment) : 어떤 실험을 통해 나올 수 있는 모들 결과는 알고 있지만 어떤 결과가 나올지 알 수 없는 실험
- 표본공간 (sample space) : 통계적 실험에서 나올 수 있는 모든 결과(outcome)들의 집합
- 근원사건 (elementary event) : 표본공간을 구성하는 개개의 결과
- 사건 (events) : 표본공간의 부분집합

Examples

두 개의 동전을 던지는 실험 : $$ \text{표본공간 } \Omega = \{(H, H), (H, T), (T, H), (T, T)\} $$
어떤 도로에서 1시간 동안 지나가는 자동차의 수 : $$ \text{표본공간 } \Omega = \{x | x = 0, 1, 2, 3, ....\} $$
어떤 도시에서의 일별 강수량 : $$ \text{표본공간 } \Omega = \{ x | x \ge 0, x \in \mathcal{R}\} $$

사건
- 사건 A와 B가 주어졌을 때
- A와 B가 배반사건 (disjoint experiment) : 두 사건이 공통의 원소를 갖지 않는 경우, 즉 $A \cap B = \emptyset$
- A의 여사건 (complementary event) : 표본공간 $\Omega$의 결과들 중에서 사건 A에 속하지 않는 모든 근원사건들의 집합, 즉 $A^c$
- A와 B의 합사건 (union event) : A와 B 중 적어도 하나에 포함되는 사건들의 집합, 즉 $A \cup B$
- A와 B의 곱사건 (intersection event) : A와 B에 동시에 포함되는 사건들의 집합, 즉 $A \cap B$

확률
- 고전적 관점에서 확률의 정의 : 표본공간 $\Omega$의 원소의 개수를 $N = n(\Omega)$라고 하고 사건 $A$에 속하는 원소의 개수를 $n(A)$라고 하면, 사건 A의 확률 $P(A)$는 다음과 같다. $$ P(A) = \frac{n(A)}{n(\Omega)} = \frac{n(A)}{N} $$
- 상대도수 관점에서 확률의 정의 : 통계적 실험에서 시행 횟수를 $m$이라고 하고 이 중 사건 $A$가 일어난 횟수를 $m(A)$라고 하면, 사건 A의 확률 $P(A)$는 다음과 같다. $$ P(A) = \lim_{m \rightarrow \infty} \frac{m(A)}{m} $$
- 확률은 다음과 같은 성질을 만족한다.
  1. 표본공간 $\Omega$의 확률은 $P(\Omega) = 1$이 된다.
  2. 표본공간 $\Omega$의 임의의 사건 $A$는 $0 \le P(A) \le 1$을 만족해야 한다.
  3. 공집합 $\emptyset$에 대해 $P(\emptyset) = 0$이 된다.

확률의 계산 법칙
- 표본공간 $\Omega$ 안에 있는 두 사건 $A$와 $B$에 대해 다음 법칙이 성립한다.
  1. $P(A^c) = 1 - P(A)$
  2. $A \subset B$이면 $P(A) \leq P(B)$
  3. $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
    일반적으로 $$ P(A_1 \cup A_2 \cup \cdots \cup A_k) = \sum_{i=1}^k P(A_i) - \sum_{i<j}^k P(A_i \cap A_j) + \cdots +(-1)^{k+1} P(A_1 \cap A_2 \cap A_3 \cap \cdots \cap A_k) $$

조건부확률
- 사건 $B$가 일어났다는 조건 하에서 사건 $A$가 일어날 확률인 조건부확률 (conditional probability)은 다음과 같이 정의한다. $$ P(A | B) = \frac{P(A \cap B)}{P(B)} $$
- 사건 $A$와 $B$의 확률이 $P(A) > 0$이고 $P(B) > 0$이면 다음 식이 성립한다. $$ P(A \cap B) = P(A | B)P(B) = P(B | A)P(A) $$
- 사건 $A_1, A_2, \cdots, A_n$에 대해 $P(A_1 \cap \cdots \cap A_k) > 0$, $k = 1, \cdots, n-1$이면 다음 식이 성립한다. $$ P(A_1, \cdots, A_n) = P(A_1)P(A_2 | A_1)P(A_3 | A_1 \cap A_2) \cdots P(A_n | A_1 \cap \cdots \cap A_{n-1}) $$

독립 사건
- 두 사건 $A$와 $B$에 대하여 다음 식이 성립하면 사건 $A$와 $B$는 서로 독립 (independent)이라고 한다. $$ P(A \cap B) = P(A) P(B) $$
- 즉, 한 사건의 발생이 다른 사건의 발생에 전혀 영향을 미치지 않는 것
- 영향을 준다면 $A$와 $B$는 서로 종속 (dependent)이라고 한다.

Examples

두 개의 주사위를 동시에 던지는 실험

나온 숫자의 차가 3이 되는 사건 $B$가 일어났다는 조건 하에서 나온 숫자의 합이 7이 되는 사건 $A$가 일어날 조건부확률 $$ P(A | B) = \frac{P(A \cap B)}{P(B)} = \frac{1 / 18}{1 / 6} = \frac{1}{3} $$
나온 숫자의 합이 2의 배수가 되는 사건을 $A$, 나온 숫자의 합이 3의 배수가 되는 사건을 $B$라고 할 때, 두 사건의 독립 관계 $$ P(A) = \frac{18}{36}, ~P(B) = \frac{12}{36}, ~P(A \cap B) = \frac{6}{36} $$ $$ \therefore P(A \cap B) = P(A)P(B) $$

베이즈 정리
- 표본공간 $\Omega$ 내의 배반사건 $B_1, B_2, \cdots, B_n$에 대해 다음 식이 성립할 때 사건 $B_1, B_2, \cdots, B_n$은 표본공간 $\Omega$의 분할 (partition)이라고 한다. $$ \Omega = \bigcup_{k = 1}^n B_k, B_i \cap B_j = \emptyset, (i \neq j) $$
- 확률의 곱셈법칙과 표본공간의 분할을 이용하여 임의의 사건의 확률을 표현할 수 있으며 이를 전확률의 법칙 (law of total probability)이라고 한다. 즉, 사건 $B_1, B_2, \cdots, B_n$이 표본공간 $\Omega$의 분할이면 $\Omega$의 임의의 사건 $A$의 확률 $P(A)$는 다음 식으로 구할 수 있다. $$ P(A) = \sum_{i=1}^n P(B_i) P(A | B_i) $$
- 사건 $B_1, B_2, \cdots, B_n$이 표본공간 $\Omega$의 분할이라고 하면 분할사건 $B_k, k = 1, \cdots, n$의 확률 $P(B_k)$를 사전확률 (prior probability)이라고 한다.
- 이후 표본공간 $\Omega$ 내의 임의의 사건 $A$가 주어졌을 때 특정한 분할사건 $B_k$로부터 나왔을 확률 $P(B_k | A)$를 사후확률 (posterior probability)이라고 한다.
- 베이즈 정리 (Bayes' theorem, Bayes' Rule)는 표본공간이 분할사건들로 표현될 때 사전확률과 사후확률에 대한 관계를 표시하는 정리이다.
- 사건 $B_1, B_2, \cdots, B_n$이 표본공간 $\Omega$의 분할일 때, $\Omega$ 내의 임의의 사건 $A$가 주어지면, 분할사건 $B_k, k = 1, \cdots, n$로부터 나왔을 확률 $P(B_k | A)$는 다음 식으로 구할 수 있다. $$ P(B_k | A) = \frac{P(B_k)P(A | B_k)}{ \sum_{i = 1}^n P(B_i) P(A | B_i)} $$

Examples

어떤 국가에서 어떤 질병의 감염률이 0.26%이다. 이 질병의 감염자가 검사에서 양성 판정을 받을 확률이 97.7%, 비감염자가 음성 판정을 확률이 92.6%인 것으로 알려졌다. 검사에서 양성 판정을 받았을 때, 검사자가 이 질병에 감염되었을 확률은 얼마인가?
$$ \text{prior } : P(D) = 0.26\% \text{, posterior } : P(D | +) = 3.33\% $$