[Linear algebra] 29. Singular value decomposition

Lecture

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-29-singular-value-decomposition/

Lecture 29: Singular value decomposition | Linear Algebra | Mathematics | MIT OpenCourseWare

 

Note

• singular vector decomposition의 시작은 row space에 존재하는 orthonormal basis, v에 특정 matrix A를 곱하면 column space에 존재하는 orthonormal basis, u(혹은 u의 실수배)가 되지 않을까라는 궁금증이다. 
• 당연히 모든 matrix A에 대해서 성립하지 않겠지만 어느 특정 A는 조건을 만족할 수 있을 것이다. 
• 수식으로 쓰면 Av = u sigma 가 되겠다.
• 만약 A가 존재한다면 그 A는 왠지 수학적으로 의미를 갖는 matrix일 것 같은 기분이 든다.
  
  

• 만약 있다면 A = U sigma V.T 와 같이 표현할 수 있을 것이다. 이 때 v는 orthonormal vector임을 가정하고 시작했으니 V.inv == V.T라는 점을 기억해야 한다.
• 이 A=U sigma V.T 를 좀 더 분석하기 위해 A.T A를 취해보니 V sigma^2 V.T와 같이 정리되는 것을 볼 수 있고 이는 positive definie matrix를 다룰 때 보았던 QΛQ.T 와 형태가 같다는 것을 알게 되었다.
• 또, 적어도 A.T A가 positive definite matrix라는 것을 알 수 있게 되었다.
  
  
• 여기서 주목해야 할 점은 관점을 바꾸어 A를 찾는 것이 아니라 A를 이미 알고 있다고 가정해보자. A.T A가 positive definite matrix이면 A는 결국 A = U sigma V.T 형태로 decomposition이 가능하단 소리다. 
• A.T A 와 A의 관계에 의해 V가 eigenvector라는 사실과 sigma가 eigenvalue의 제곱이라는 말이 되기도 한다.
• 다시 말해, A.T A positive definiteness만 확인되면 A는 A = U sigma V.T로 분해될 수 있으며 이는 eigenvalue와 eigenvector의 조합이다. 
  
  

• U는 조금 의미가 떨어지지만 같은 방식으로 AA.T 를 풀어보면 U도 구할 수 있다. 
  
  

• 하나 더 특징이 있다. 아까 시작할 때 v와 u는 각각 row space와 column space 상에 위치한 basis들이라고 이야기했다. 근데 그동안의 수식과 형태를 잘 관찰해보면 v와 u는 A의 row space와 column space 내에 있다는 것을 알 수 있다.
• 따라서 row space basis, column space basis이면서 동시에 A.T A  혹은 A A.T의 eigenvector 이기도 한 것이다. 
  
  

• A.T A 가 positive definite matrix 이기만 하면 decomposition이 가능한 것이기 때문에 A만 보면 singular한 경우가 있을 수 있다. 
• 하나의 예시는 위와 같다. (판서 진행 과정 중에 실수가 있었던 것 같다. 부호가 일부 틀린 듯)
• 이 때는 A가 full rank가 아닐 때인데, 이 경우는 row space basis로 n x n U가 안 만들어지는데 null space의 basis가 사용된다. (이건 증명은 없었음)
• V도 마찬가지로 left null space basis가 사용되어 n x n 형태를 갖춘다.