반응형
내 맘대로 Introduction
개인적으로 좋아하는 연구자인 디즈니 chandran의 2025년 eurographics 논문이다. 근데 이번 논문은 살짝 완성도 측면에서 아쉬운 것 같다. 완성도라기 보단 기존 논문 대비 참신함이 돋보이지 않아서 아쉬웠던 논문?
주어진 arbitrary face scan(topology는 template이랑 똑같음)의 표정을 target template mesh로 옮기는 expression transfer에 대한 논문인데, 사전에 topology를 맞춰서 광범위하게 paired dataset를 만들어 놓고 시작하기 때문에 문제가 너무 쉽다. (unsupervised나 self supervised로 풀었다면 진짜 괴물급 논문이었겠지만...)
핵심 내용도 그냥 shape transformer랑 똑같다. template neutral vs real expressed 끼리 correspondence 맞춰서 query로 던져주고 template neutral에 더할 displacement 구하는 방법이다.
너무 간단해서 정리할게 거의 없다....
메모
 |
deformed mesh template mesh paired 형태로 데이터셋이 존재하고 correspondence도 이미 다 알고 있는 상태에서 단순히 supervised learning으로 expression transfer한 것이다. 자동으로 데이터 생성이라고 하는게 특별한게 아니라, topology 맞춰서 registration도 다 해뒀고 blendshape까지 계산해뒀기 때문에 무한히 많은 pair를 생성할 수 있다는 뜻. 닭이 먼저냐 달걀이 먼저냐 싶은데.... 이미 blendshape이 있으면 이거 왜 하나 싶다. |
 Template model 만들 때 하는 데이터 전처리를 똑같이 한 것 뿐이다. 중간에 blendshape 만들 때 linear basis 안쓰고 patch 단위로 쪼갠 basis 쓴게 차이. 이건 저자의 이전 논문을 활용한 것. |
|
  |
데이터셋은 이미 있다. registration 끝난 것. 이 논문 쓰려고 새로한게 아니라 가져다 쓴거라 이 파트는 사실 중요한게 없음. |
 |
identity가 다른 mesh에서 가져온 displacement를 template mesh에 그냥 더한다. 얼굴 shape이 다르기 때문에 이걸 그냥 더하면 표현력이 아쉽고 결국 FLAME 같은 모델이랑 별반 다를 바 없게 되는건데 그냥 이렇게 했다. displacement 수집해서 patch blendshape (basis) 만드는 것이 데이터 생성 끝. |
 네트워크는 shapr transformer를 가져와서 붙였다. 그냥 사실 상 shape transformer 데이터 바꿔서 학습해본 버전 논문이다. 진짜 특별한 내용이 없는데, 이 논문을 왜 계획했을까. 무슨 다른 이유가 있나 싶을 정도로 내용이 적다. 유일한 차이는 shape transformer는 shape token 하나에서 모든 vertex를 복원하는데 여기는 query to query 라는 점. |
 |
 |
 우수성을 주장하지만, shape token에서 다 복원하는 구조를 query to query로 바꿨으니 어찌 보면 당연한 결과... |
 FLAME에 적용 가능하다고 하지만, 기존 template mesh to FLAME mapping function 하나만 있으면 치환가능하니까 큰 의미는 없는 듯. |
 아쉽다! 이번 논문은 조금 |
반응형