CODERNER

내 맘대로 Introduction 제목에서도 느껴지듯이 EG3D의 human 버전 확장판이라고 볼 수 있다. EG3D 확장답게 3D GAN + Multi-planes을 차용한 구조를 사용한다. 핵심 아이디어는 3D 데이터 없이 많은 2D 데이터를 먹여서 generator를 학습시키는 것이다. discriminator도 여러개 붙이고 super resolution module까지 붙여서 조금 조잡한 느낌이 나지만 그래도 준수한 논문. 메모1) 3D generator가 canonical SDF 예측하도록 함2) pose-conditioned deformation 후 volume rendering3) rgb, normal 2레벨에서 discriminator 적용4) super resolution 붙여서 고화질..

내 맘대로 Introduction 제목에서 알 수 있다시피 PiFU 컨셉의 후속 연구, single image to 3d avatar. SIFU 라는 이름이 사부를 중국어로 읽은 것과 비슷한 점을 살려서 은근히 중국 티를 팍팍 낸 논문. 핵심 아이디어는 기존 방식은 front to left/right/back 과정에서 geometric guidance가 하나도 없었기에 성능이 떨어졌다는 것을 지적하면서 left/right/back SMPLX rendered normal 이라도 넣어주는 식으로 보강한 점이다. 구조적으로 front 입력에서 Q를 뽑고 left/right/back 에서 K,V를 뽑는 식의 cross attention을 사용함으로써 어느 뷰가 우선순위가 높은지 확실히 정해준다.  아이디어는 간..

내 맘대로 Introduction Multiview video 입력을 받아 FLAME 연계 3D Gaussian spaltting 학습하는 논문. 조금 나이브한 부분이 초기화할 때만 3D FLAME face 3D Gaussian 간의 binding을 하고 densification, pruning할 때는 딱히 face 위에 있도록 강제한다는게 없다. regularization term으로만 face와 거리가 가깝게 유도할 뿐이다. 따라서 명시적으로 mesh와 align을 강제하지 않기 때문에 deformation 시 약점을 보일 것 같다.  정말 간단함. 메모1) multivew video 각 frame마다 FLAME을 fitting 함2) FLAME vertex마다 face 중심에 3DGS 생성 (no..

내 맘대로 Introduction multiview video 입력을 받아 animatable avatar를 복원하는 내용이 큰 골조인데, 매 프레임 reconstruction 결과를 tracking할 수 있도록 연결하고 전체 tracked avatar를 갖고 옷의 변형을 역추정하는 것이 핵심인 논문이다. 다시 말하면 multiview reconstruction -> tracking -> physical parameter estimation -> animation 순서다.  tracking이 용이하게 만들기 위해서 첫 프레임에서 만든 mesh (아마 NeRF 같은 걸로 복원했을 것으로 추정) face에 3D Gaussian을 할당하는 방식을 활용했다. position과 rotation이 face에 고정되..

내 맘대로 Introduction multiview + video 입력을 받아 3D animatable head avatar를 만드는 논문. NPHM (implicit head model) 에 feature를 할당하고, differentiable renderer를 통해 depth, normal, rendered feature를 만든 뒤 이를 diffusion하는 방식이다. 사실 특별한 내용은 아닌데 뒤에 rendered image에서 바로 loss를 계산하는 것이 아니라 diffusion 통과 후 loss를 계산하는 식으로 바꿔서 diffusion prior를 학습에 응용했다는 것이 차이점이다.  NPHM 같은 impliti head model을 굳이 큰 이유는 뚜렷하지 않음. 그냥 continuous ..

내 맘대로 Introduction point cloud를 이용하여 head avatar를 표현하되, 3DMM shape,pose parameter에 binding되게 만들어서 animation이 가능하도록 복원하는 것을 목표로 하는 논문이다. 3DGS가 발표되기 이전 논문.  핵심 아이디어는 3DMM vertex와 대응되도록 point cloud를 생성한 뒤, 3DMM LBS 를 통해 변형해가면서 렌더링하는 것이다. 지금 보면 3DGS와 매우 유사한 논문. 다만 isotropic gaussian이라는 점이 차이.  메모1) canonical point cloud canonical FLAME 대응 관계 만들기2) canonical point cloud + offset  == ..

내 맘대로 Introduction FLAME vertex + 얼굴 표면 normal 따라 추가 point 에 3DGS을 할당해서 얼굴 아바타를 복원한 논문이다. 크게 보면 3DGS 복원 논문인데 3DGS 하나하나가 FLAME 모델 vertex이거나 FLAME 모델 특정 표면에 binding 되어 있는 형태이기 때문에 pose, expression parameter에 따라 변형이 가능하다는 점이 장점이다. 그래서 Morphable! 핵심 아이디어는 3DGS의 기준이 되는 point들을 model vertex만 쓴 것이 아니라 얼굴 주변 point까지 확장했다는 점이다. 안경, 머리 표현력을 훨씬 좋을 것 같음. densification은 안하는 듯? 메모 기존에는 위 그림에서 파란점들에만 3DGS를 할당하..

내 맘대로 Introduction 2023 CVPR monoavatar라는 논문으로 video to implicit head avatar 논문이다. 3DMM(FLAME) + NeRF representation으로 다양한 표정의 얼굴 이미지를 찍어낼 수 있다. 핵심 아이디어는 FLAME vertex 마다 learnable feature를 할당 -> NeRF 방식으로 compositing해서 픽셀화하는 방식으로 학습시키는 것이다. 이제는 좀 알려진 방식이지만 2023년이므로 이게 첫 시작이었지 싶다. 또, CNN(UV map) feature를 쓰는 것인 3DMM 이용할 때 효과적이라는 것을 밝힘. 메모 0) 배경 제거, 3DMM 피팅, camera pose 찾기 1) CNN(Ref. uv map - defo..

내 맘대로 Introduction single image에서 multi person detection하는 논문. SMPLX 파라미터를 찾는 방식으로 검출해내는데 카메라로부터 거리까지 추정하는 절대적 검출이라는 것이 차이점이다. 대규모 데이터를 먹은 DinoV2를 backbone으로 쓰기 때문에 generalization도 좀 더 잘되는 것 같고 실제로 해봤을 때 기존 ROMP 같은 논문들보다 안정성이 뛰어나다. 메모 1) human patch detection (어느 patch에 사람 머리가 있는지) 2) offset regression (patch 내에서 디테일한 위치) 3) Cross attention 기반 regression ( human param + distance) 파라미터 dimension ..

내 맘대로 Introduction head template model을 만드는 순서는 보통 3D scan을 하고 MVS로 mesh를 얻은 다음 미리 만들어둔 template mesh를 registration하는 과정을 거친다. 이 때 MVS에 noise가 있는 것을 사람이 수작업으로 보통 거르고, registration 과정에서도 손으로 파라미터 튜닝을 해줘야 한다. 즉 수작업이 굉장히 많이 든다고 할 수 있다. 이 논문은 MVS-registration 순서를 통째로 대체해서 images to registrated model로 한 방에 가는 방법을 소개한다. 학습 과정에서 3D SCAN이 필요하긴 하다. 대신 MVS를 건너뜀. 메모 이미지 feature를 aggregation해서 feature volum..