반응형
내 맘대로 Introduction
이 논문은 2022년도 논문이라 최신 내용과는 거리가 멀지만, 최신 3DMM을 활용한 논문들이 fitted FLAME 모델을 전제로 하는 만큼 preprocessing에서 자주 언급되기에 한 번 짚고 넘어간다.
single image가 주어졌을 때 FLAME shape,expression,jaw 파라미터를 추정하는 backbone + 비디오가 주어지면 fitting하면서 head pose + color까지 추가로 찾는 논문이다.
기타 논문에서 많이 활용되는 만큼 성능은 좋아 보인다.
메모
 |
|
 |
1) ArcFace라는 pretrained face recognition network를 가져와서 backbone으로 활용. 마지막 resblock 3개 빼고는 freeze됨. 2) 마지막에 MLP 3개를 추가해서 마지막 resblock 3개랑 이거만 학습됨. 3) 뱉어주는 3DMM 파라미터는 reconstruction된 이후, 3D GT와 비교 |
 |
MLP가 담당하는 decoer는 3DMM 파라미터 값을 내뱉도록 dimension 설계됨 loss는 GT와의 vertex 3d error인데, face region이 150배, 뒤통수가 1배, 눈 주변은 0.01배로 가중치만 조절. |
 |
비디오에 fitting하는 사실 상 stage 2 앞에서 얻은 shape, expression, jaw 파라미터를 초기값으로 삼고, color를 추가 rendering color loss 2d keypoint loss regularization(neutral pose에서 안벗어나도록) 하는 3개 term으로 학습을 더 해준다. ->>> 결과적으로 color, shape expression, jaw, head pose가 전체 다 나오는 모양. |
 |
head pose는 perspective projection을 가정하고 진행 됨. |
 |
 |
 |
 |
 |
 |
반응형