NICP: Neural ICP for 3D Human Registration at Scale

내 맘대로 Introduction

 

Neural ICP라는 이름에서 바로 느낌 오듯이 기존 ICP 알고리즘에서 distance measure를 neural net으로 대체한 논문이다. euclidean distance로 nearest-neighbor를 찾아 거리를 좁히는 방식인데, nearest match가 잘되었을 때만 효과적이고 잘못되었을 때는 완전히 망가지는 방식이기 때문에 network가 semantic 정보를 기반으로 무조건적 nearest를 좀 걸러주길 기대하는 방식.

 

ICP도 그렇듯 초기화가 굉장히 성능을 좌지우지하는데, 이 역시 아무리 network를 쓴다고 해도 target shape에서 크게 벗어난 초기값에서 시작하는 것을 무리다. 그래서 기존 방식을 stage 1으로 붙이고 제안하는 방식을 stage 2에 붙이는 방식으로 구현했다. 

 

메모

기존 방식은 target shape point cloud가 query로 들어오고, 이 query들로부터 각 template vertex까지의 offset를 계산하는 방식이다. 일명 NF 모든 걸 네트워크 예측값에 의존하기 때문에 데이터 distribution 즉 도메인 안에서만 잘된다는 문제가 있다고 지적함. -> 그래서 뒤에 NICP ( distance measure만 neural net.이고 나머지는 최적화인 형태)를 붙인 것.

	NF + NICP + chamfer distance로 최종 다듬기 순서 (match 간에만) 앞에 NF를 학습시킬 때는 조금 변형시켜서 MLP를 여러개 두고, part-part 마다 각각 학습시켰음 이때 파트를 나누는 방식은 Template mesh에 laplace beltrami-operator 적용해서 eigen vectecor 뽑고, 탑 16을 뽑아서 사용함 ->mesh가 heatmap처럼 16개로 쪼개져 있을 것 -> 맞네 -> 나머지는 LVD 논문 참조. -> IF net은 저해상도 3d conv net.

ICP 돌릴 때 target shape pointcloud가 주어지면 network에 던짐 -> 나오는 값이 template vertex 개수만큼 나옴 -> 최소값 이랑 매칭 -> 해당 최소값이 0이 되도록 학습 ----------- self-supervised 형태임.  GT match가 명확히 존재하지 않기 때문에 애초에.  잘못될 수 있음. 하지만 수렴할 때까지 반복하다보면 알아서 찾아가나봄. target shape 바뀔때마다 새로하는게 맞음. 근데 몇 초 안걸린다고 함.

최종적으로 target shape에 완전 갖다붙이기 위해서 charmfer distance + laplace로 마지막 튜닝.