[Linear algebra] 25. Symmetric matrices and positive definiteness

Lecture

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-25-symmetric-matrices-and-positive-definiteness/

Lecture 25: Symmetric matrices and positive definiteness | Linear Algebra | Mathematics | MIT OpenCourseWare

 

Note

• symmetric matrix는 eigenvalue/eigenvector 관점에서 독특한 특징을 갖는데 첫번째는 eigenvalue가 모두 실수라는 것이고 두번째는 모든 eigenvector가 수직이거나 수직으로 만들 수 있다는 것이다.
• 수직으로 만들 수 있다는 말은 eigenvalue가 중복되어 eigenvector를 같은 plane에서 뽑아야 될 경우, 수직인 조합으로 뽑아낼 수 있기 때문이다.
  
  

• eigenvector들이 perpendicular하다는 것은 orthonormal 하다고 볼 수 있으므로 (벡터의 크기는 1로 만들어도 상관없으니까) 여태까지 matrix를 decomposition하던 수식이 한 단계 더 단순한 형태로 정리된다.
• 선형대수학에서 가장 유명한 수식일 수 있는데 A=QΛQ.T로 inverse가 없는 형태로 정리된다. 
  
  

• 첫번째 특징 eigenvalue가 실수라는 사실의 증명은 다음과 같다. Ax=λx (A: symmetric matrix)가 있을 떄 만약 λ가 complex number를 포함한다면 또 다른 해는 반드시 conjugate 값인 λ' 에서 나온다는 것을 알 수 있다. 
• 따라서 A'x' = λ'x' 를 풀게 되는데 이때 A는 실수 matrix 이므로 그냥 A를 쓰면 Ax' = λ'x' 이다.
• Ax=λx 와 Ax'=λ'x' 두 식 양변에 x'.T 를 곱해주면 좌측 사진의 칠판 양 끝에 있는 수식과 같이 되는데
• 이 둘을 정리해보면  우측 사진과 같은 등식을 만족해야 한다는 것을 알 수 있다. 그런데 우측 수식의 결론은 conjugate 전과 후가 같다는 말로 실수여야만 가능한 등식이다. 
  
  

• 증명 과정에서 나온 x'.T x 도 사실 eigenvector 길이의 제곱을 의미한다는 사실도 참고해두면 좋다. 
  
  

• A matrix가 실수 matrix이면 가장 좋지만 (실생활에서는 웬만하면 실수임) 아닐 경우에도 conjugate + transposed에 원래와 같은 형태만 유지할 수 있다면 위 정리가 통하니 좋은 matrix라고 볼 수 있다. 
  
  

• A=QΛQ.T의 결과는 위와 같이 λ1q1q1.T와 같은 조합의 합인 것을 볼 수 있는데 이를 해석해보면 q1 q1.T는 perpendicular projection matrix이므로 여러개의 perpendicular projection matrix의 linear combination으로 표현할 수 있다는 것이다. (어디다 쓰이는지는 모르겠음...)
  
  

• symmetric matrix의 장점은 또 있다. 바로 pivot variable들의 부호 개수와 eigenvalue들의 부호 개수가 같다는 사실이다.
• 예를 들어 50개의 pivot variable 중 28개가 양수, 22개가 음수일 경우, eigenvalue 역시 28개가 양수, 22개가 음수다. 
  
  

• 사실 앞서 갑자기 symmetric matrix의 특징을 읊은 것은 positive definite (symmetric) matrix를 위한 빌드업이었다. 
• positive definite symmetric matrix는 총 3가지 조건을 만족하는 matrix인데 공학적으로 의미가 있는 행렬 상태이기 때문에 알고 있어야 한다.
• 첫번째 조건은 symmetric matrix 이므로 모든 eigenvalue가 양수여야 한다.
• 두번째 조건은 모든 pivot variable이 양수여야 한다. 위에 설명한 내용을 알고 있다면 첫번째 조건과 사실 같은 내용이다. 
• 세번째 조건은 모든 sub-determinant도 양수여야 한다. n x n matrix가 있을 때 좌측 상단을 기준으로 1x1, 2x2, 3x3, 4x4, ... nxn까지 어떤 크기로 잘라서 determinant를 계산해도 양수여야 한다. 
• 이 positive definite matrix의 특징은 다음 강에서 더 다룰 것 같다.