직교기저(Orthogonal basis)
이 부분은 후에 이차형식(quadratic form) 닮은 행렬, 회전행렬등에서 쓰이는 개념이니 숙지하자.
원서 : Strang, G. (2023). Introduction to Linear Algebra (6th ed.).
1. 정규직교기저(Standard orthogoanl basis)
기저(basis) 란 공간을 생성하며 선형독립인 집합을 의미한다. 이 때, 벡터공간의 기저는 유일하지 않다.
다만, 각 공간의 일반적인 기저를 표준기저라 한다.
앞부분에서 우리가 무의식적으로 쓰고있다는 기저가 대부분 표준기저다.
\[R^2 = \{ (x,y) \mid x,y \in \mathbb{R} \} \ \text{의 표준기저:} \ \begin{pmatrix} 1 \\ 0 \end{pmatrix}, \ \begin{pmatrix} 0 \\ 1 \end{pmatrix}\] \[R^3 = \{ (x,y,z) \mid x,y,z \in \mathbb{R} \} \ \text{의 표준기저:} \ \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \ \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \ \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}\] \[M_{2 \times 2} = \left\{ \begin{pmatrix} x & y \\ z & w \end{pmatrix} \mid x,y,z,w \in \mathbb{R} \right\} \ \text{의 표준기저:} \ \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}, \ \begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix}, \ \begin{pmatrix} 0 & 0 \\ 1 & 0 \end{pmatrix}, \ \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix}\] \[P_1 = \{ a_0 + a_1 x \mid a_i \in \mathbb{R} \} \ \text{의 표준기저:} \ \{1, x\}\] \[P_2 = \{ a_0 + a_1 x + a_2 x^2 \mid a_i \in \mathbb{R} \} \ \text{의 표준기저:} \ \{1, x, x^2\}\]이 때, 기저의 원소들이 서로 수직이라면 직교기저(orthogonal basis) 라 하고 동시에 모든 원소의 크기가 1이면 정규직교기저라 한다.
2. Gram-Schmidt 직교화 과정
직교화하는 방법은 다양하다.
예를들어 (1,0,1)에 대한 기저가 있다고 치면 이에 대한 직교기저는 (-1,0,1)로 직관적으로 바로 알수도 있다. (내적했을때 0이 나오는 기저만 찾으면 직교기저가 됨)
하지만 항상 직관적으로 알 수는 없고 어떠한 기저가 나오든 직교기저를 뽑을수있는 방법 중 하나가 G-S 직교화 과정이다.
하지만 계산과정이 단순한 정사영공식을 사용하는 것이지만 계산량이 많아서, 개인적으로 직교기저를 구할때 가장 후순위 방법으로 사용한다.
벡터공간 (V)의 기저가 ({ v_1, v_2, v_3 })가 서로 수직관계를 가지고 있지 않아서
수직인 다른 기저 ({ w_1, w_2, w_3 })로 바꾸는 과정을 Gram-Schmidt 직교화 과정이라 한다.
Gram-Schmidt 직교화 과정의 공식은 다음과 같다.
직교기저 ({ w_1, w_2, w_3 })를 정규직교기저로 바꾸고 싶다면 자신의 크기로 나누면 된다.
\[w_1 = v_1\] \[w_2 = v_2 - \frac{\langle v_2, w_1 \rangle}{\langle w_1, w_1 \rangle} w_1\] \[w_3 = v_3 - \frac{\langle v_3, w_1 \rangle}{\langle w_1, w_1 \rangle} w_1 - \frac{\langle v_3, w_2 \rangle}{\langle w_2, w_2 \rangle} w_2\]즉,
\[\frac{w_1}{\| w_1 \|}, \quad \frac{w_2}{\| w_2 \|}, \quad \frac{w_3}{\| w_3 \|}\]를 정규직교기저라 한다.
이해를 위해 부족하지만 그림을 참고하자.
3. 직교기저의 활용
① 직교기저에 대한 벡터 ( v )의 좌표벡터 벡터공간 ( V )의 직교기저 B = { w_1, w_2, …, w_n}에 대하여 v가 V에 부분공간일 때,
\[v = \frac{v \cdot w_1}{w_1 \cdot w_1} w_1 + \frac{v \cdot w_2}{w_2 \cdot w_2} w_2 + \dots + \frac{v \cdot w_n}{w_n \cdot w_n} w_n\]이고
\[[v]_{\beta} = \left( \frac{v \cdot w_1}{w_1 \cdot w_1}, \frac{v \cdot w_2}{w_2 \cdot w_2}, \dots, \frac{v \cdot w_n}{w_n \cdot w_n} \right)\]이다.
여기서 만약 B가 정규직교기저인 경우는 크기가 1이므로 분모가 1이 되기 때문에
\[v = (v \cdot w_1) w_1 + (v \cdot w_2) w_2 + \dots + (v \cdot w_n) w_n\]이고
\[[v]_{\beta} = (v \cdot w_1, v \cdot w_2, \dots, v \cdot w_n)\]이다.
② 직교기저를 이용한 정사영 공식
벡터공간 ( V )의 부분공간 ( W )와 ( W )의 직교기저 B = { w_1, w_2, …, w_n}에 대하여
v가 V에 부분공간일 때 부분공간 ( W )로의 정사영은 다음과 같다.
만약 B가 정규직교기저인 경우
\[\text{proj}_W v = (v \cdot w_1) w_1 + (v \cdot w_2) w_2 + \dots + (v \cdot w_n) w_n\]이다.
복잡해 보이지만 그냥 위에 말한 개념을 일반화 시킨 것 뿐이다.
이해를 위해 예제를 풀어보자
문제
다음과 같은 행렬이 있을때
\[A = \begin{pmatrix} 1 & 2 & 3 & 4 \\ 2 & 3 & 4 & 5 \\ 3 & 4 & 5 & 6 \end{pmatrix}\]벡터 ( x = (-7, -5, 1, 1) )을 ( A )의 영공간(nullspace)과
행공간(row space)에 들어가는 두 벡터 (x_n, x_r)의 합으로 나타낼 때,
영공간에 들어가는 벡터인 ( x_n )의 크기의 제곱은?
이 문제는 직전에 다룬 직교분해와 최소제곱해에 대한 개념을 사용해야 풀수있다.
A 의 영공간과 행공간은 직교여공간이므로 xn + xr = x일때 projnx = xn, projrowx = xr 이다.
\[A \sim \begin{pmatrix} 1 & 2 & 3 & 4 \\ 0 & 1 & 2 & 3 \\ 0 & 0 & 0 & 0 \end{pmatrix} \sim \begin{pmatrix} 1 & 0 & -1 & -2 \\ 0 & 1 & 2 & 3 \\ 0 & 0 & 0 & 0 \end{pmatrix}\]그리고 기본행 연산을 통해 다음과 같은 기저를 뽑아 낼수 있고 이를 최소제곱해를 이욯해서 행공간으로 정사영 벡터를 구하자.
여기서 최소제곱해를 구하면 a = -7, b= -4가 나오므로 xr은 다음과 같이 나온다.
\[x_r = \begin{pmatrix} -7 \\ -4 \\ -1 \\ 2 \end{pmatrix}\] \[\text{따라서 } x_n = x - x_r \quad \Rightarrow \quad x_n = \begin{pmatrix} 0 \\ -1 \\ 2 \\ -1 \end{pmatrix}\]그리고 크기를 구하면 6이 나온다.