CODERNER

ICON: Implicit Clothed humans Obtained from Normals내 맘대로 Introduction그림만 보면 영상으로부터 animatable avatar를 만들어내는 논문 같지만 실상은 frame by frame으로 3D human reconstruction하는 논문이다. 한마디로 PiFU나 PiFUHD 같은 결과를 얻고자 하는 논문이다. sequence를 쓰는 부분이나 animatable avatar를 만드는 부분은 SCANimate를 변형해서 뒤에 갖다 붙였기 때문이다. 변형 SCANimate까지를 contribution으로 가져가기 때문에 약간의 논문이 헷갈린다. SCANimate 논문은 이전 글 2023.03.30 - [Reading/Paper] - [Human] SCA..

SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks내 맘대로 Introduction이 논문은 3D Scan으로 얻은 human point cloud가 여러 sequence로 있을 때, 해당 사람의 animatable avatar를 생성하는 방법을 소개한다. 한마디로 scan to avatar 방법이다. 논문은 크게 두 단계로 나뉘며, 첫번째는 Scan sequence 하나 하나마다 canonical pose, 즉 기본 자세로 unpose하는 단계이고 두번째는 unposed scan sequence를 모두 다 합쳐 하나의 아바타로 만드는 단계이다. 한 사람을 정밀 복원하는 것이 목표로 다른 사람까지 복원해내는 범용적인 형태가 아..

H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion 내 맘대로 Introduction NeRF란 고정된 대상에 대해 학습되는 알고리즘인데 이를 dynamic object, 특히 사람에 적용하려는 시도가 많이 있었다. 각종 warping 혹은 deformation을 정의해서 사람을 복원해내는 것까지 완성했는데 한가지 문제가 복원된 사람은 촬영된 이미지 범위에 한정된다는 것이다. 즉, 촬영된 이미지 상에서 취한 자세만 표현할 수 있는, 데이터 종속된 형태로 복원된다는 것이다. 이 논문은 이를 확장해서 unseen pose까지 커버할 수 있는 Human NeRF에 대한 내용이다. 핵심 아이디어는 ..

imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose 내 맘대로 Introduction 2023.03.13 - [Reading/Paper] - [Human] GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 이전 글에서 소개한 GHUM이라는 모델은 SMPL 상위 호환 버전의 모델이다. 하지만 이 GHUM은 parameterization 방식이 PCA가 아닌 VAE+deep learning 기반이라는 차이가 있는 것이지 원리 자체는 SMPL과 동일한 형태의 mesh model이다. 정해진 개수의 vertex와 정해진 순서의 face를 갖고 있는 discret..

GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 내 맘대로 Introduction 이 논문은 SMPL 시리즈 (SMPL, SMPL+H, SMPL+D, SMPL+X)와 같은 parametric human model을 만드는 것을 목표로 했다. 단 기존 SMPL이 body에만 집중했던 것을 넘어서 얼굴와 손을 포함한 모델이며 파라미터를 만드는 방식이 PCA 기반이 아닌 deep learning을 통한 방식이다. 파라미터를 그냥 loss 설계하고 backpropagation으로 찾아지는 값 그대로 쓰는 것인데 효과적인 학습을 위해서 PCA 기반 값을 초기화값으로 사용하거나 low-dimension 모델인 GHUML은 대놓고 PCA 기반 ..

I M Avatar: Implicit Morphable Head Avatars from Videos 내 맘대로 Introduction PiFU + deformation field 컨셉으로 dynamic object recontruction하는 논문의 얼굴 버전이다. 전신과 대비해서 움직임의 폭이 적고 다양성도 적은 편이어서 난이도가 조금 더 낮은 편이라 성능은 더 뛰어나 보인다. deformation field는 3DMM이라는 얼굴 모델의 basis를 적극 활용했고 ray marching을 통해 surface point를 찾아내는 것은 똑같다. ray marching 과정에서 gradient가 끊기는 것을 연결하기 위해 사용한 수식은 SelfRecon과 사실상 동일하다는 점이 눈에 띄는데 SelfReco..

* 이전 기록 방식이 난잡하기도 하고 길이가 길어 이 글부터는 분량을 좀 줄이고 핵심 아이디어라고 생각되는 부분 외에는 생략하기로 했다. PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction 내 맘대로 Introduction PaMIR는 간단히 말해 PiFU 에 3D volume aligned feature를 추가한 것이다. pixel aligned feature 만 쓰는 PiFU에, 이미지에 미리 SMPL 모델을 피팅해두고 피팅된 모델을 둘러싼 공간을 3D convolution으로 feature화 해서 같이 쓰는 식이다. PiFu가 위와 같은 식으로 정리할 수 있다면, PaMIR는 아..

SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video 내 맘대로 Introduction 이 논문은 SMPL + NeRF 컨셉을 이용해서 3D Human reconstruction을 목표로 하는 논문이다. NeRF 컨셉을 녹인 것이기 때문에 결과물로 나오는 3D Human mesh는 SMPL류도 아니고 rigging이 가능한 형태도 아닌 그냥 mesh 덩어리다. 그냥 입력 데이터에 딱 맞는 덩어리가 나오는 논문이다. contribution 자체가 explicit method (SMPL 기반) 과 implicit method (SDF + NeRF) 를 합친 것에 있다. 사실 상 SMPL에 옷을 커버하는 +@를 더하는 컨셉을 유지하고 ..