Stable-SCore: A Stable Registration-based Framework for 3D Shape Correspondence

내 맘대로 Introduction

많고 많은 mesh간의 correspondence를 추정한 다음, registration하는 논문. 간단히 말하면 형상이 다른 mesh를 A->B로 registration하는 방법. 광범위한 correspondence 데이터셋을 활용해서 최적화에 사용할 flow를 뱉어주는 네트워크를 사전에 학습시킨게 핵심이고 뒤에 최적화의 경우 diff-rendering을 사용한 익숙한 방법. 디테일 적으로 NJF를 이용해서 최적화하거나 하는 부분도 좋은 듯.

확실한 prior를 갖고 시작하다보니 기존 방식 대비 왜곡이 적은 것 같다.

 

메모

	전체 파이프라인은 2D correspondence에 강하게 의존한다.  SD-DINO를 기본으로 feature extractor를 만들었는데, 이 네트워크로 MESH를 렌더링한 이미지에서 feature를 뽑음. feature 끼리 NN 매칭하면 2D correspondence가 나오는 방식.  이게 cue가 되어서 최적화가 도는데, 당연히 이것만 갖고는 다 찌그러짐. 따라서 NJF를 이용해서 강하게 topology 유지를 시키면서 최적화함.

MESH를 30 각도로 렌더링해서 학습에 사용했으며 SD-DINO frozen feature가 1등공신.  correspondence는 NN 매칭으로 얻어짐 <-이게 그렇게 정확하지 않을텐데... 잘되는 걸 보면 NJF가 대단한건지...아니면 학습 데이터 규모가 엄청났던 건지 모르겠다.

3D, 2D correspondence 제공되는 데이터 전부 모아서 학습했고. 카메라 각도는 mesh A, B가 최대한 같도록 유지하면서 학습했다.  feature 퀄리티를 높이기 위해서 CLIP contrasitve loss 사용했고 왼손 오른손 같은 헷갈리는 부분을 위해 geodesic distance 기반으로 loss도 추가함.

이제 최적화. 각 vertex마다 이미지 space에서 얼마나 이동했는지 2d flow를 색상처럼 부여함. diff rendering하면 이게 앞서 구한 2D correspondence와 domain이 같음. 따라서 loss를 걸어서 둘 간의 거리를 좁히면 점점 vertex가 이동하는 모양이 나옴. CD, normal loss는 덤

NJF를 사용하므로, face마다 jacobian을 추정하는게 본체인데 결국. 최적화 과정에서 이게 너무 급변하면 망가짐. 따라서 jacobian이 항상 identity에 가깝도록 억제 (잘 안변하도록) 더불어서 face가 많이 찌그러지면 안되므로, face가 rotation위주로 변하도록 jacobian이 jacobian(rotation only)와 같도록 억제한다.