반응형
내 맘대로 Introduction
monocular video에서 canonical Gaussian + Mesh를 얻어내는 방법이다. 핵심은 3DGS + deformation field를 수렴시키는 것으로 기존 컨셉과 동일한데, 3DGS densification, pruning을 최대한 발산하지 않도록 poisson solver+Marching cube를 붙여 억제한 것이 차이점이다.
다르게 말하면 3DGS를 point cloud로 보고 poisson solver 특성을 이용해서 서로 간의 위치가 smooth하도록 억제하면서 densification되도록 한 것이다.
추가로 marching cube까지 붙여서 복원된 mesh face와 3DGS 위치가 인접하도록 강제하면서 더욱 더 smooth하면서 mesh 결과와 최대한 유사하도록 했다.
메모
 |
|
  canonical GS를 모든 프레임에 대해서 1개 두고, 각 time, t에 대해선 canonical GS를 deformation하는 식. (기존컨셉과 동일) 1) deformation 이후 poisson solver + MC로 mesh화 -> 3DGS가 mesh와 유사하도록 강제 (gaussian mesh anchoring) 2) smooth하도록 강제 3) backward deform을 추가해서 forward deform과 cyclic하게 구성함.(그림에서 notation이 같아서 같은 네트워크 같아 보이지만 서로 다른 네트워크.) |
  |
| deformation 네트워크 들은 3DGS 위치 + time step을 받아 3DGS의 residual을 뱉어주는 식. 위치만 넣고 scale, opacity, rotation 변화량 추정하는 것은 조금 의문... 남은 3DGS param 다 넣어주면 더 좋았지 않을까 |
 |
| deformation 후에는 poisson solver + MC를 적용해서 mesh화 함. 이 과정에서 mesh vertex가 끼리끼리 가깝도록 (smooth하도록 하는 regularization term 추가) |
  |
| 그리고 이 mesh는 3DGS 위치를 보정하는 prior로 사용됨. poisson solver 입장에서 surface라고 풀어준 face가 3DGS 위치들과 크게 멀지 않아야 한다. 3DGS 마다 nearest face를 찾아 거리가 가깝도록 (웬만하면 face 위에 3DGS가 있도록 강제한다.) |
  |
| 이 때 만약 3DGS vs face 가 one-to-many 관계이면 densification이 필요한 상황이므로 face centroid에 새로운 gaussian 생성 3DGS vs face가 many-to-one 관계이면 pruning이 필요한 상황이므로 face에 매칭된 3DGS를 평균내서 1개로 합침.  확실히 이렇게 하면 3DGS의 발산이 억제되고 object surface 주변에 주로 위치하도록 유도된다. |
  |
| forward deform net, backward deform net을 따로 두고 forward(canonical) == - backward(deformed) 라는 관계를 loss로 걸어준다. (같은 네트워크를 cyclic하게 쓴게 아니라서 큰 의미가 없을 것 같기도 하다. 뒤에 ablation도 없음.) |
 |
 |
 |
 |
 |
 |
 |
  |
반응형