17. 독립 랜덤 변수와 두 변수의 관계 (Independent Random Variables, Correlation of Two Variables)

다중 랜덤 변수에서, 각 변수가 서로의 독립일 때 독립 랜덤 변수라 한다.

독립 랜덤 변수는 아래 조건을 만족한다.

$$ P_{X,Y}(x,y) = P_X(x)P_Y(y)$$

$$F_{X,Y}(x,y) = f_X(x)f_Y(y) $$

즉, 다중 랜덤 변수의 PMF/PDF를 이용해 Marginal PMF/PDF를 구하여 해당 변수가 독립인지 아닌지를 알 수 있다.

랜덤 변수 함수의 기댓값

랜덤 변수로 구성된 함수 $W = g(x,y)$의 기댓값은 다음과 같다.

$$ E[W] = \sum_{x\in S_X} \sum_{y\in S_y} g(x,y)P_{X,Y}(x,y) $$
$$ E[W] = \int^\infty _{-\infty} \int ^\infty _{-\infty} g(x,y)f_{X,Y}(x,y) dxdy $$

두 랜덤 변수의 합의 기댓값과 분산

$W = X+Y$에서 W의 기댓값과 분산은 다음과 같다.

$$ E[X+Y] = E[X] + E[Y]$$
$$ Var[X+Y] = Var[X] + Var[Y] + 2E[(X-\mu _X)(Y-\mu _Y)] $$

공분산 (Covariance)

X와 Y의 공분산은 다음과 같다.

$$Cov[X,Y] = E[(X-\mu _X)(Y-\mu _Y)] $$

상관 계수 (Correlation Coefficient)

두 랜덤 변수 X와 Y의 상관 계수는 다음과 같다.

$$\rho _{X,Y} = \frac{Cov[X,Y]}{\sqrt{Var[X]Var[Y]}} = \frac{Cov[X,Y]}{\sigma _X \sigma _Y} $$

상관 계수에 따라 두 변수간의 관계가 아래와 같이 나타난다.

 직교 랜덤 변수 (Orthogonal Random Variables)

두 변수의 상관 계수가 0이 되면($E[X,Y] = E[X]E[Y]$이면), 두 변수는 직교한다고 한다.

상관 관계가 없는 랜덤 변수 (Uncorrelated Random Variables)

X와 Y의 공분산이 0이면 두 랜덤 변수의 상관 관계가 없다는 뜻이다.