[Linear algebra] 15. Projection onto subspaces

Lecture

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-15-projections-onto-subspaces/

Lecture 15: Projections onto subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare

 

Note

• projection이란 것은 여러 벡터(그림에서 b)를 대상 벡터(그림에서 a) 수직으로 내리찍는 것인데 이해를 돕기 위해 2차원에 보면 위 그림과 같이 대상 벡터(a)의 x배로 표현된다. 
• projection 과정에서 계산해내어야 할 것은 x이며 이는 a.T(b-aX) = 0 과 같이 수직 조건을 이용해 dot product 결과가 0이 되어야 한다는 방정식 속에서 얻을 수 있다.
  
  

• projection 과정을 단순히 projection matrix P 연산으로 표현하고 p = Pb 형태로 만들기 위해 p=aX와 같이 우측에 곱하는 표기를 사용한다. 
• p=aX를 전개해보면 묶는 방식을 바꾸어 p = (aa.T/ a.Ta) b 와 같이 표기할 수 있고 이 때 (aa.T/ a.Ta) 가 projection matrix P가 된다.
• C(P)는 a가 a가 이루는 subspace라고 할 수 있다. 2차원 예시에서 a는 하나의 벡터니까 line이다. rank(P) = 1 이라고 볼 수 있다. 
• 이는 예시가 2차원이어서 그렇지 N차원에서도 같은 개념으로 확장할 수 있다. 
  
  
• 특징 1. Projection matrix는 symmetric matrix다. P.T = P
• 특징 2. Projection matrix는 여러번 반복 적용돼도 1회 적용한 것과 같다. 1번 이후로는 제자리로 투영된다. P^2 = P
  
  

• projection 개념이 왜 중요한가? 이는 Ax=b를 못 풀 때 억지로 푸는 방법이기 때문이다. 
• b가 A의 column space 내에 없을 때 문제를 풀 수 없다. 하지만 b를 C(A)로 projection한 p에 대해 푸는 것은 최선의 정답이 될 수 있다. 
  
  

• 문제를 푸는 방법은 error인 e = b-p에 있다. 벡터 e는 C(A)와 수직하다는 것을 알 수 있고 이 말은 둘의 dot product가 0이 되어야 한다는 뜻이다.
• 이를 방정식으로 세우면 위 사진과 같이 A.T(b-Ax') = 0이 된다. 여기서 p=Ax'이다. p는 C(A) 안에 있으므로 Ax'으로 표기할 수 있다.
• 벡터 e는 C(A)와 수직하므로 이론적으로 N(A.T)를 의미한다고 할 수 있다. 
• 결과적으로 A.TAx'=A.Tb를 풀면 된다. 
  
  

• 한 번 더 정리하면 위 사진과 같이 정리할 수 있고 이는 아까 2차원 예시에서 봤던 것과 매우 비슷하고 그 확장 버전이라고 볼 수 있다. 
  
  

• 위 사진처럼 Projection matrix를 전개해보면 다시 identity matrix가 되는 것 아니냐라고 질문할 수 있는데 아니다.
• projection을 이용한 문제풀이가 필요한 상황은 A가 full rank 즉, C(A)가 R^n 공간 전체가 아닐 때다. 이 말은 A가 square matrix가 아니라는 뜻이기도 하다.
• 따라서 A가 rectangular matrix이기 때문에 A.inv 같은 것은 존재하지 않고 위 사진처럼 전개하는 것이 불가능하다. A가 square invertible matrix일 때만 가능하다.