11. 고유값과 고유벡터 (Eigen Value and Eigen Vector)

행렬 $A$가 $n\times n$ 행렬이고, $I$가 항등 행렬일 때, $Ax = \lambda x$인 선형 시스템에서 $x\neq 0$인 해가 존재하기 위한 필요충분조건은 $|A-\lambda I| = 0$이다. ($x$는 $n \times 1$ 벡터, $\lambda$는 상수)

행렬 $A$에 대해,

$$\det(A-\lambda I ) = \begin{vmatrix} a_{11} - \lambda & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} - \lambda & \cdots & a_{2n}\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} - \lambda \end{vmatrix}$$

를 행렬 $A$의 특성다항식^{Characteristic Polynomial}또는 고유다항식이라 한다.

$$p(\lambda) = |A-\lambda I | = 0$$

위 식을 $A$의 특성방정식^{Characteristic Equation} 또는 고유방정식이라 하는데, 이 경우 $p(\lambda)$는 $\lambda$에 대한 $n$차 다항식이다.

특성방정식의 근인 $\lambda$를 고유값^{Eigen Value}이라 하며, 벡터 $x$를 고유벡터^{Eigen Vector}라 한다. 이 경우, 고유벡터 $x$는 $n\times 1$ 행렬이다.

고유값을 갖는 고유벡터들의 집합을 고유공간^{Eigen Space}이라 하며, 주어진 $n\times n$ 행렬로부터 모든 고유값과 고유벡터들을 구하는 것을 고유값 문제라 한다.

고유값과 고유벡터 예시

$A = \begin{bmatrix} 1&2\\4&3 \end{bmatrix}$에 대해, 고유벡터를 $x = \begin{bmatrix}1\\2\end{bmatrix}$로 놓으면 아래와 같다.

$$Ax = \begin{bmatrix} 1&2\\4&3\end{bmatrix} \begin{bmatrix}1\\2\end{bmatrix} = \begin{bmatrix}5\\10\end{bmatrix} = 5\begin{bmatrix}1\\2\end{bmatrix}$$

그러므로 고유값은 $\lambda = 5$이다.

특성다항식으로 고유값 구하기

$A=\begin{bmatrix} 2&3\\3&-6 \end{bmatrix}$의 특성다항식을 구해보자.

$$A - \lambda I = \begin{bmatrix} 2&3\\3&-6 \end{bmatrix} - \begin{bmatrix} \lambda & 0\\ 0 & \lambda \end{bmatrix} = \begin{bmatrix} 2-\lambda & 3\\ 3&-6-\lambda \end{bmatrix}$$

$$\begin{align*} \det(A-\lambda I) &= \begin{vmatrix} 2-\lambda & 3 \\ 3 & -6-\lambda \end{vmatrix}\\ &= (2-\lambda)(-6-\lambda) - 3\cdot 3\\ &= -12 + 6\lambda - 2\lambda + \lambda^2 - 9\\ &= \lambda^2 + 4\lambda -21  = 0\\ &= (\lambda-3)(\lambda+7) = 0 \end{align*}$$

그러므로, 행렬 $A$의 고유값은 $3, -7$이다.

고유값 3에 대응하는 고유벡터를 구해보자.

$$\begin{bmatrix} 2-3 & 3\\ 3 & -6-3 \end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$$

$$-x_1 +3x_2 = 0\\ 3x_1 -9x_2 = 0$$

위 연립 방정식에 따르면, $x_1 = 3x_2$이 되므로, 여기서 $x_2=1$이라 하면 고유벡터는 $\begin{bmatrix} 3\\1 \end{bmatrix}$이 된다.

$$Ax = \begin{bmatrix} 9\\3 \end{bmatrix} = \lambda x = 3\begin{bmatrix}3\\1\end{bmatrix}$$

고유값과 고유벡터의 의미

$Ax = \lambda x$가 된다. 이때, $A$는 행렬이고 $\lambda$는 상수이다. 벡터 $x$에 벡터가 아닌 어떤 값을 곱하면 벡터의 방향은 유지되고 크기가 바뀌는데, 행렬 $A$가 벡터 $x$의 크기를 바꾸는 정도는 고유값 $\lambda$와 같다.

즉, 어떤 벡터 $x$가 행렬 $A$의 고유벡터라면, 행렬 $A$를 이용한 변환을 수행해도 벡터의 방향은 바뀌지 않는다. 다만 벡터의 크기가 변화하는데, 어떤 행렬 $A$로 변환을 수행했을 때 벡터의 크기가 변화하는 정도가 고유값이다.

고유값의 성질

행렬 $A$의 고유값들이 $\lambda_1, \lambda_2, \cdots, \lambda_n$이라 할 때, 다음이 성립한다.

• 행렬 $A$의 고유값들의 합은 주대각선상의 항들의 합인 대각합과 같다.
• 행렬 $A$의 고유값들의 곱은 행렬 $A$의 행렬식과 같다.
• 행렬 $A$의 전치행렬 $A^T$의  고유값은 원래의 고유값과 같다.
• 행렬 $A$의 역행렬이 존재한다면, 해당 행렬의 고유값은 다음과 같다.
  $\frac{1}{\lambda_1}, \frac{1}{\lambda_2}, \cdots, \frac{1}{\lambda_n}$
• $k$가 스칼라값이라면, $kA$의 고유값은 원래의 고유값에 $k$를 곱한 것과 같다.
• $k$가 양의 정수라면, $A^k$의 고유값은 원래의 고유값에 $k$를 제곱한 것과 같다.
• $\lambda_1 \neq \lambda_2$라면, 각 고유값에 대응하는 고유벡터는 선형 독립이다.

닮은 행렬^{Similar Matrix}

$n \times n$ 행렬 $A,B,C$가 $B = C^{-1}AC$를 만족하면, $A$와 $B$가 닮은 행렬이라 한다.

이때, $CB = AC$가 성립한다.

행렬 $A, B$가 닮은 행렬이면 두 행렬은 같은 고유값을 갖는다.

행렬의 대각화

어떤 $n$차 정방행렬 $A$를, $n\times n$ 크기의 주대각선상의 원소를 제외한 원소가 0인 대각 행렬로 만드는 것을 대각화라 한다.
$n$차 정방행렬 $A$를 대각화하기 위해선, 해당 행렬이 $n$개의 일차 독립인 고유벡터들을 가져야 한다.

행렬 $A$의 고유값을 $\lambda_n$, 고유벡터를 $p_n$로 봤을 때, $n$차 정방행렬 $P$는 고유벡터 $p_1, p_2, \cdots , p_n$들로 구성된 행렬이다.

$D$는 $A$를 대각화한 행렬로, $D = P^{-1}AP$가 성립하므로 주대각원소가 $A$의 고유값으로 구성되어 있다.

$$D = \begin{bmatrix} \lambda_1 & 0 & \cdots & 0\\ 0 & \lambda_2 & \cdots & 0\\ \vdots & \vdots & \cdots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end{bmatrix}$$