Topologically Consistent Multi-View Face Inference Using Volumetric Sampling

내 맘대로 Introduction

 

learnable regisration의 시초 같은 논문. 이것도 꽤 오래됐다. hao li 참여 논문. calibration된 세팅에서 정해진 volume 안에 모델이 존재하고, 3D voxel feature로부터 template mesh vertex를 예측하는 방식.

 

coarse 예측 후, displacement map이나 albedo같은 디테일맵을 추가 예측한다. light stage 데이터가 있기에 가능한 학습이었고, MVS도 모공 수준으로 잘된 경우를 취급한다. 

 

메모

	기본 컨셉은 coarse-to-fine이다 역시. coarse mesh를 낮은 vertex로 예측한 뒤 (global stage) lcao stage를 몇번 반복하면서 high resolution mesh로 올려가는 과정. voxel feature를 미리 만들어두는 것. voxel 위치마다 각 view로 내려서 이미지 feature를 합쳐서 (더하거나 평균) 계산하는 방식이다.  이후에 mesh geometry가 대략 확정되면, 이때부터 skin detail, appearance map, 등 초고화질 표현을 위한 map들을 "생성"해낸다.

	각 시점으로 voxel을 내려찍은 뒤 모아온 이미지 feature들을 voxel feature로 구성해두고,  3D CNN을 통과시켜 초기 Vertex N개를 확률값으로 예측한다.  확률값이라는건 voxel마다 있어서 softmax 를 채널별로 취하면 계산 가능.

coarse에서는 vertex가 341개 정도로. 낮음. upsample하면서 약 4배 정도씩 뻥튀기 3번을 해서 최종 10495개로 올리는 과정. face마다 점이 1개씩 추가된다.  사전에 barycentric weight를 어떤 것을 쓸 것인지, normal direction으로 얼마나 움직일 것인지 평균적으로 계산을 해둔다.  -> 사전에 registration을 많이 해뒀기 때문에 데이터 들로부터 통계적인 값을 추출해서 미리 고정해둔 것

그 다음 upsampled point 주변에서 일정 범위의 voxel feature를 모아서 vertex displacement 계산.  통계적으로 배치된 점들을 업데이트해주는 과정 이건 1번 아니고 3번 반복한다.

이후에 texture baking을 하고 base mesh displacment map을 구워서 준비한뒤,  synthesis network 를 통과시켜 detail map을 추가 생성 -> 이건 light stage에서 취득해둔 초 고화질 데이터가 있기 가능함. 디테일은 그리 적혀있지 않다.

세팅이 정해져 있고 데이터가 뒷받침이 되다보니 상당히 높은 정확도. 오히려 MVS가 깨져서 살짝 망가진 코끝이나 귀 같은 부분이 유의미하게 제대로 복원되는 모양.  확실히 장점이 있긴 하다.