2. 전체 확률의 법칙과 베이즈 정리 (law of total probability and Bayes' Law)

조건부 확률

한 사건의 발생이 다른 사건의 발생 확률과 상관관계가 있는 경우 조건부 확률이라 한다.
조건부 확률의 표기는 아래와 같다.

$$ P[A|B] = \frac{P[A \cup B]}{P[B]} $$

$P[A|B]$는 사건 B가 일어났을 때, 사건 A가 일어날 확률이다.

예시

전체 국민 중 군 복무자의 비율이 $40\%$라 하자. 이 중, 남성이 $80\%$라 할 때, 전체 남성 중 무작위로 선정한 한 사람이 군 복무자일 확률은? (전 국민의 성비는 5:5라 한다.)

$$\begin{align*}
P[군 복무자|남성] &= \frac{P[군 복무자] \cup P[남성]}{P[남성]}\\
&= \frac{0.32}{0.5}\\
&= 64\%
\end{align*}$$

조건부 확률의 공리

$\text{Axiom 1: } P[A|B] \geq 0\\
\text{Axiom 2: } P[B|B] = 1\\
\text{Axiom 3: If }A = A_1 \cup A_2 \cup ... \text{ with } A_i \cap A_j = \emptyset \text{ for } i \neq j, \text{then}\\
P[A|B] = P[A_1|B] + P[A_2|B] + \cdots$

전체 확률의 법칙(전확률 정리)

전확률 정리는 조건부 확률로부터 조건이 붙지 않는 확률을 계산할 때 사용한다.

모든 $i$에 대해 $P[B_i] > 0$이고 파티션인 $\{B_1, B_2, \cdots , B_m\}$에 대해, 아래가 성립한다.
$$ P[A] = \sum^{m}_{i=1} P[A|B_i]P[B_i] $$

베이즈 정리

$$ P[B|A] = \frac{P[A|B]P[B]}{P[A]} $$

증명

$$ \frac{P[AB]}{P[A]} = \frac{P[AB]}{P[B]} \cdot \frac{P[B]}{P[A]} $$

베이즈 정리는 조건부 확률 $P[A|B]$를 알고 있을 때, 관계가 정반대인 확률 $P[B|A]$를 계산하는데 사용한다.

예시 문제

한 가게에 들어온 손님이 상품을 구매하는 경우를 $B$, 구매하지 않는 경우를 $N$이라 하자. 손님이 가게에 3분 이상 머물 경우 그 손님은 $L$(Long)로 분류하고 3분 이하로 머물 경우 $R$(Rapid)로 분류한다.

$$ P[B] = 0.3, P[R] = 0.4, P[B|R] = 0.125 $$

위 모델에서, $P[R|B]$를 구해보자.

$$ \begin{align*}
P[R|B] &= \frac{P[B|R]P[R]}{P[B]}\\
&= 0.125 \cdot 0.4 \div 0.3\\
&= 0.166
\end{align*}$$

위와 같이 빠른 고객 중 구매자 정보를 기반으로 구매자 중 빠른 고객이 차지하는 비중을 알아낼 수 있다.