고유치, 고유벡터(Eigen value, Eigen vector)
고유치, 고유벡터는 선형대수의 꽃이다.
A 가 nxn행렬이고 v가 R^n의 벡터일 때, 보통 벡터 v와 벡터 Av사이의 일반적인 기하학적 관계는 존재하지 않는다.
그러나 간혹 v와 Av는 서로의 스칼라배로 되는 영어가 어떤 벡터 v가 존재한다.
이와 같은 벡터는 선형변환의 해석에서 중요한 역할을 하게 되고, 따라서 자연히 진동, 전기계, 유전학, 화학반응, 양자역학, 기계음학, 경제학, 기하학 심지어 확률이론 등의 연구에서 나타난다.
원서 : Strang, G. (2023). Introduction to Linear Algebra (6th ed.).
1. 고유치, 고유벡터의 정의
A = (aij)nxn(정방행렬)에 대하여 Av = λv 를 만족하는 0이 아닌 R^n에 속해있는 벡터 v를 λ에 대응하는 A의 고유벡터(eigen vector) 라고 하고 λ 를 A의 고유치(eigen value) 라고 한다.
다른거 다까먹어도 다음 수식만 기억해도 반은 간다. 꼭 기억하자.
\[Av = λv\]2. 고유치, 고유벡터 구하는 법
\[Av=λv⟺(A−λI)v=0 \quad 단, \ I는 \ 단위행렬\]에서 무수히 많은 근을 가져야만 의미를 갖게 되므로 다음의 식을 만족하는 λ를 찾고 다음의 식에 대입하면 v를 얻게 된다.
이때, 다음의 식을 특성방정식(characteristic equation) 또는 고유방정식(eigen equation) 이라 부른다.
\[∣A−λI∣=0 \ 또는\ ∣λI−A∣=0\]A의 특성다항식은 n차 이고, 일반적으로 λ^n의 계수는 1이다.
3. 고유치, 고유벡터의 성질
고유치와 고유벡터의 성질은 특히나 중요하고 많이 쓰이므로 숙지하자.
또한 1,2번 성질을 이용해 2x2, 3x3 행렬의 특성다항식을 일반화를 통해 쉽게 구할 수 있다.
① 행렬 A=(aij)n×n의 고유치의 합은 대각원소들의 합 (traceA) 와 같다.
② 행렬 A=(aij)n×n의 고유치의 곱은 행렬식 (detA) 의 값과 같다.
③ A와 A^T의 고유치는 항상 같다.
④ 정방행렬 A가 가역행렬이면 정방행렬 A의 고유치 중 0이 존재하지 않는다.
⑤ 정방행렬 A가 비가역행렬이면 정방행렬 A의 고유치 중 0이 존재한다.
여기서 ④, ⑤번 성질에 대해 부가 설명을 하자면,
det A = 0이라는 것은 많은 의미를 지닌다.
자명한 해만이 아닌 해가 존재 (nullity >= 1)
비가역(Non-invertible) (역행렬이 없다)
열/행 벡터가 종속(Linear dependence)
대각화 불가 가능성
따라서 비가역행렬이라는 것은 detA = 0이라는 의미이고, ②에 의해 고유치의 곱이 0이나온다는 것이기때문에 고유치중 0이 존재한다.
⑥ 행렬 A의 고유치가 λ1,λ2,…,λn이라 할 때
\[A^k \text{의 고유치는 } \lambda_1^k, \lambda_2^k, \dots, \lambda_n^k \] \[aA \text{의 고유치는 } a\lambda_1, a\lambda_2, \dots, a\lambda_n\] \[A^{-1} \text{의 고유치는 } \frac{1}{\lambda_1}, \frac{1}{\lambda_2}, \dots, \frac{1}{\lambda_n}\] \[A + aI \text{의 고유치는 } \lambda_1 + a, \lambda_2 + a, \dots, \lambda_n + a\] \[A^k + aI^m \text{의 고유치는 } \lambda_1^k + a^m, \lambda_2^k + a^m, \dots, \lambda_n^k + a^m\] \[\text{단, } A \text{의 고유벡터는 } A^k, aA, A^{-1}, A+aI, A^k + aI^m \text{의 고유벡터가 된다.}\]⑦ 대칭행렬의 고유치는 항상 실수이다.
⑧ 대칭행렬의 서로 다른 고유치에 대한 고유벡터들은 항상 수직관계를 갖는다.
⑨ 교대행렬의 고유치는 순허수 또는 0이다.
⑩ 직교행렬의 고유치는 1 또는 -1이거나 절대값이 1인 켤레(공액) 복소수 (a±bi) 이다.
직교행렬의 고유치의 절댓값은 항상 1이다.
여기서 대칭행렬의 서로다른 고유치에 대한 고유벡터는 수직관계임을 특히나 기억하자
하나의 고유벡터를 구하고 그에대한 수직벡터를 찾아서 굳이 다른 고유치대입없이 바로 구할 수있는 방법이 된다.
굉장히 성질이 많지만 한번씩은 무조건 쓰게되는 성질이니 기억하자
추가) 상삼각, 하삼각, 대각행렬의 고유값은 주대각원소이다
4. 고유공간
우선 예시와 함께 고유치, 고유벡터를 구하는 과정을 이해해보자.
다음과 같은 과정을 통해 고유치를 얻을 수 있고 이를 통해 고유벡터를 구할 수 있다.
\[Av = \lambda v\] \[\lambda = 1 : \quad Av = 1 \cdot v\] \[(A - I)v = 0\] \[\begin{pmatrix} 3 & 2 \\ -1 & 0 \end{pmatrix} - \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 2 \\ -1 & -1 \end{pmatrix}\] \[\begin{pmatrix} 2 & 2 \\ -1 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \end{pmatrix}\] \[2x + 2y = 0 \quad\text{또는}\quad x + y = 0\] \[\Rightarrow \begin{pmatrix} -1 \\ 1 \end{pmatrix},\; \begin{pmatrix} 3 \\ -3 \end{pmatrix},\; \dots \quad(\text{basis of eigen space})\]다음과 같이 고유벡터까지 구할 수있고 이는 고유치 1에대한 고유공간의 기저에 해당한다
Theorem
Eigen Space Dimension = nullity(A - λI)
직관적으로 봤을때 고유방정식을 0으로 만드는 해공간이 고유벡터가 되므로 고유공간의 차원은 nullity이다.
과정을 보면 알겠지만 고유벡터를 구하는과정은 그냥 고유치를 빼고 기저를 구하면 되서 간단하지만 고유치를 구하는 과정이 만만치 않다. (우선 행렬식 계산부터 애바임)
따라서 다음은 자주사용하는 2x2행렬과 3x3행렬의 일반화된 공식이고, 이는 고유치의 성질에서 나온 것이니 고유치의 성질을 반드시 기억하자.
Generalization A 2x2, 3x3
① 2x2
\[A = \begin{pmatrix} a & b \\ c & d \end{pmatrix}\] \[\lambda^2 - \mathrm{tr}(A)\lambda + |A| = 0\] \[\lambda_1 + \lambda_2 = \mathrm{tr}(A)\] \[\lambda_1 \lambda_2 = |A|\]위 문제에서 하나하나 계산했던 2x2행렬도 다음 일반화를 사용하면 고유방정식을 눈만 있으면 구할수 있게 된다.
(3 2 -1 0) => λ^2 - 3λ + 2 = 0 이처럼 암산으로도 구할 수 있게된다.
② 3x3
\[A = \begin{pmatrix} a & b & c \\ d & e & f \\ g & h & i \end{pmatrix}\] \[\lambda^3 - \mathrm{tr}(A)\lambda^2 + (\text{주대각 원소의 여인수들의 합})\lambda - |A| = 0\] \[\lambda_1 + \lambda_2 + \lambda_3 = \mathrm{tr}(A)\] \[\lambda_1\lambda_2 + \lambda_2\lambda_3 + \lambda_3\lambda_1 = (\text{주대각 원소의 여인수들의 합})\] \[\lambda_1 \lambda_2 \lambda_3 = |A|\]3x3행렬에 대한 고유방정식은 일반화로도 조금 복잡하지만 주대각원소에 λ빼고 Sarrus’ rule이나 Laplace든 det를 구하는 거 보다 개인적으로 백배 낫다.
주대각 원소의 여인수들의 합을 구하는 게 어렵다고 느낄 수도 있지만 주대각원소이다 보니 부호도 양수여서 생각보다 쉽고 익숙해지면 자동반사로 저 공식으로 고유방정식을 구하고 있을 것이다.
또한 다음 고유방정식 일반화를 통해 위의 고유치 특성을 근과 계수의 관계로 유도할 수 있다.
4.1 대수적 중복도(Algebraic multiplicity), 기하적 중복도(Geometric multiplicity)
계속해서 새로운 개념이 나오고 있지만 뻔한 소리겠지만 이 부분도 굉장히 중요한 부분이다.
최소다항식, Jordan canonical Form 등에서 핵심적으로 사용하게 되고, 고유공간의 차원에 대한 핵심적인 개념이니 숙지하자.
대수적 중복도와 기하적중복도의 의미는 다음과 같다.
Algebraic multiplicity(대수적 중복도) = 고유치 중근 개수
Geometric multipliticity(기하적 중복도) = 고유공간 차원(nullity(A - 고유치I) = 수치행렬)
이때 대수적중복도 >= 기하적중복도 이다. 즉, 기하적중복도는 대수적중복도보다 클 수 없다.
이해를 위해 몇가지 예시를 보자
문제 1
모든 성분이 실수인 2×2 대칭행렬 A가 다음 조건을 만족할 때 A의 행렬식을 구하면?
A^2의 대각합 = 8, A^3의 대각합 = 0
① 2 ② −2 ③ 4 ④ −4 ⑤ 0
처음 이런 문제를 보면 어쩌라는거지 싶겠지만 고유치를 활용하는 유형이다.
고유치에 대한 특성을 생각하면 단순 곱셈공식 문제로 바뀌게 된다.
A의 고유치를 λ = a, b라 하면 a^2 + b^2 = 8, a^3 + b^3 = 0이다.
a^3 + b^3 = (a + b)(a^2 − ab + b^2)이므로
⇒ 0 = (a + b)(8 − ab)이다.
따라서 a + b = 0 또는 ab = 8이다.
ab = 8은 보기에 없으므로 a + b = 0을 이용하자.
(a + b)^2 = a^2 + b^2 + 2ab 이므로
⇒ 0 = 8 + 2ab이고 ab = −4이다.
참고. 곱셈공식 review
다음은 대표적인 곱셈공식이다.
문제 2
행렬 A가 다음과 같을때 의 서로 다른 고윳값의 개수를 a라 하고 서로 다른 고윳값의 합을 b라 할 때, a+b의 값은?
\[\begin{pmatrix} 1 & 2 & 3 & 4 & 5 \\ 2 & 4 & 6 & 8 & 10 \\ 3 & 6 & 9 & 12 & 15 \\ 4 & 8 & 12 & 16 & 20 \\ 5 & 10 & 15 & 20 & 25 \end{pmatrix}\]이 문제를 해결하기 위해서는 대칭행렬의 특성을 알아야 한다.
A는 모든행이 비례관계이므로 rankA = 1이다.
또한 종속이기때문에 detA = 0이고 차원정리에 의해 nullityA = 5(열의개수) - 1(rankA) = 4, trA = 55라는 것을 구할 수있다.
여기서 nullityA에 대해 언급하자면, nullityA = nullity(A - 0I), 즉, 고유치 0에 대한 기하적 중복도와 같다.
그리고 여기서 A는 대칭행렬이므로 대수적중복도 = 기하적중복도이므로 고유치 0의 중근개수는 4인것을 구할 수 있다. 그리고 trA = 55이기때문에 고유치의 총합이 55라는 것을 알 수 있다.
따라서 A의 고유치는 0,0,0,0,55이고, a+b = 57이다.
문제 3
3×3 행렬 A의 특성다항식이 det(A - tI) = -t^3 + 2t^2 + 6t - 1 로 주어질 때, 행렬 A^2의 특성다항식을 p(t) = det(A^2 - tI) 라 하면, 미분계수 p’(1)의 값은? (단, I는 3×3 단위행렬이다.)
이 문제는 위에서 말한 3x3 특성다항식의 일반화된 공식을 이용하면 된다.
A의 특성다항식이 det(A - tI) = -t^3 + 2t^2 + 6t - 1 이므로
특성방정식 det(A - tI) = -t^3 + 2t^2 + 6t - 1 = 0에서
고유치를 λ = a, b, c라 하면
p(t) = det(A^2 - tI)
= -t^3 + (a^2 + b^2 + c^2)t^2 - (a^2 b^2 + a^2 c^2 + b^2 c^2)t + (a^2 b^2 c^2) 이다.
또한, det(A - tI) = -t^3 + 2t^2 + 6t - 1 = 0에서
a + b + c = 2, ab + ac + bc = -6, abc = -1 이다.
(a + b + c)^2 = a^2 + b^2 + c^2 + 2(ab + ac + bc)이므로
⇒ 4 = a^2 + b^2 + c^2 - 12 이고 a^2 + b^2 + c^2 = 16 이다.
또 (ab + ac + bc)^2 = a^2 b^2 + a^2 c^2 + b^2 c^2 + 2(abc)(a + b + c)이므로
⇒ 36 = a^2 b^2 + a^2 c^2 + b^2 c^2 - 4 이고 a^2 b^2 + a^2 c^2 + b^2 c^2 = 40 이다.
따라서 p(t) = -t^3 + 16t^2 - 40t + 1 이므로 p’(1) = -11 이다.