[Linear algebra] 16. Projection matrices and least squares

Lecture

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-16-projection-matrices-and-least-squares/

Lecture 16: Projection matrices and least squares | Linear Algebra | Mathematics | MIT OpenCourseWare

 

Note

• Ax=b를 못 풀 때, Ax'= p로 최선의 해를 구하는 식으로 풀고 이때 e=b-p 만큼의 error가 존재한다고 했다.
• 이 과정에서 발생한 벡터 p와 e를 보면 matrix A 관점에서 각각 C(A), N(A.T)에 속하는 벡터로 서로 orthogonal하다. 
• e=b-p 역시 projection matrix로 해석이 가능하다. (I-P)b 와 같다고 보는 것이다. 
  
  

• 최선의 해를 구하는 식은 그 의미가 least square로 푸는 것과 같다. line fitting을 예시로 든 것이 왼쪽 사진과 같다. 
• 주어진 x1, x2, x3를 지난 직선을 그릴 순 없지만 이를 가장 가깝게 지나가는 y=C+Dx 직선을 찾는 문제다. 
• 이 경우 least square method로 풀곤 하는데, 행렬 형태로 만들어 풀면 같은 결과를 얻을 수 있다. 우측 사진과 같이 세우고 calculus로 푼 것과 같다.
  
  

• A가 full rank일 때, A.TA는 invertible하다는 사실은 외워두면 좋다.
• 그 증명은 간단한데 A.TAx=0 이 있을 때 양 변에 x.T를 곱하면 바로 보인다. (Ax).T(Ax) =0 모양이 되는데 이 때 Ax=0이 아니면 성립할 수 없다. 이는 A가 full rank는 x가 zero vector일 때만 가능한 사실이다. 
• 따라서 A.TAx = 0의 null space는 역시 zero vector 뿐이고 이는 A.TA 가 invertible, full rank라는 소리다.