[Linear algebra] 27. Positive definite matrices and minima

Lecture

https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/resources/lecture-27-positive-definite-matrices-and-minima/

Lecture 27: Positive definite matrices and minima | Linear Algebra | Mathematics | MIT OpenCourseWare

 

Note

• positive definte matrix가 공학에서 큰 의미를 갖는 matrix인만큼 positive definite matrix인지 알아내는 test를 먼저 알 고 있으면 좋다. 

• 총 4개의 테스트가 있는데, 첫번째는 eigenvalue test, 두번째는 sub-determinant test, 세번째는 pivot test이다.
• 네번째 테스트는 이번 강의에서 다룰 내용이다. 위 조건들로부터 matrix가 positive definite인지 확인할 수 있다. 
  
  

• 네번째 조건을 실제 예시 matrix A와 함께 전개해보면 위 사진과 같다. n개의 변수로 구성된 quadratic equation 형태라는 것을 알 수 있다. 
• 이 때 이 equation은 n=2일 때 bowl같은 모양인데 이 bowl이 양수 영역에 떠있는지 안 떠있는지를 검사하면 positive definite인지 알 수 있다. 
  
  

• 이 검사가 위의 테스트 1,2,3과 사실 상 같은 의미를 갖는 것은 간단히 위 예시로 볼 수 있는데 저 위 우측 사진의 2(x+3y)^2+2y^2 식을 보면 이 안에 들어있는 2, 3, 2 라는 숫자가 사실 상 pivot value와 elimination 수와 같다는 것을 알 수 있다.
• 이 bowl이 양수 영역에 떠있으려면 필연적으로 pivot value가 양수인 모양이 되어야 하므로 positive definite인게 확인되는 모양이다.
  
  

• 만약 위와 같은 상황이라면 bowl이 아니다 saddle 모양으로 음수 영역에 도달하므로 positive definite이 아닌데, 확인해보면 pivot value가 음수가 보인다. 
  
  
  
• 위와 같이 그림으로 행렬을 보는 방법이 등장한 김에 posivite definite matrix가 공학적으로 의미를 갖는 것의 대표적 예시를 하나 보여주겠다.

• 만약 어떤 함수 f가 minimum을 갖는 함수인지 확인하고 싶다면 [[fxx, fxy]. [fyx, fyy]] 와 같이 2nd derivative로 구성된 matrix를 만들고 이 matrix가 positive definite인지 확인하면 된다. 
• 미적분에서 1차 미분값0, 2차미분값이 양수인 경우에 minimum을 갖는다는 것을 알텐데 matrix에서는 이 방식이 같은 의미를 갖는다. 
  
  

• 또 다른 활용은 데이터의 기하적 분석이 가능하다. 예를 들어, 위와 같은 행렬을 positive definite test를 한다면 4차원 paraboloid가 나오는 것을 알 수 있는데 x.T Ax에 특정 값이 정해지는 순간 3차원 ellipse가 된다. 
• positive definite matrix일 경우, orthonormal matrix인 Q를 활용한 decomposition이 가능하다는 것을 알 것이다. 
• 이 때 ellipse의 major axis, middle axis, minor axis는 eigenvector 방향과 같고 그 길이는 eigenvalue와 같다.
• 만약 A 행렬이 실험 데이터로 만들어진 행렬이라면 특정 조건에서 데이터의 핵심 축 방향과 그 축 방향의 영향력을 찾을 수 있고 이걸 기하적으로 볼 수 있다. (설명하기 어렵다....)
• 대충 positive definite matrix이기만 하면 다양한 분석이 가능해진다는 것만 기억하면 될 듯하기도...