CODERNER

H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion 내 맘대로 Introduction NeRF란 고정된 대상에 대해 학습되는 알고리즘인데 이를 dynamic object, 특히 사람에 적용하려는 시도가 많이 있었다. 각종 warping 혹은 deformation을 정의해서 사람을 복원해내는 것까지 완성했는데 한가지 문제가 복원된 사람은 촬영된 이미지 범위에 한정된다는 것이다. 즉, 촬영된 이미지 상에서 취한 자세만 표현할 수 있는, 데이터 종속된 형태로 복원된다는 것이다. 이 논문은 이를 확장해서 unseen pose까지 커버할 수 있는 Human NeRF에 대한 내용이다. 핵심 아이디어는 ..

imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose 내 맘대로 Introduction 2023.03.13 - [Reading/Paper] - [Human] GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 이전 글에서 소개한 GHUM이라는 모델은 SMPL 상위 호환 버전의 모델이다. 하지만 이 GHUM은 parameterization 방식이 PCA가 아닌 VAE+deep learning 기반이라는 차이가 있는 것이지 원리 자체는 SMPL과 동일한 형태의 mesh model이다. 정해진 개수의 vertex와 정해진 순서의 face를 갖고 있는 discret..

GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 내 맘대로 Introduction 이 논문은 SMPL 시리즈 (SMPL, SMPL+H, SMPL+D, SMPL+X)와 같은 parametric human model을 만드는 것을 목표로 했다. 단 기존 SMPL이 body에만 집중했던 것을 넘어서 얼굴와 손을 포함한 모델이며 파라미터를 만드는 방식이 PCA 기반이 아닌 deep learning을 통한 방식이다. 파라미터를 그냥 loss 설계하고 backpropagation으로 찾아지는 값 그대로 쓰는 것인데 효과적인 학습을 위해서 PCA 기반 값을 초기화값으로 사용하거나 low-dimension 모델인 GHUML은 대놓고 PCA 기반 ..

I M Avatar: Implicit Morphable Head Avatars from Videos 내 맘대로 Introduction PiFU + deformation field 컨셉으로 dynamic object recontruction하는 논문의 얼굴 버전이다. 전신과 대비해서 움직임의 폭이 적고 다양성도 적은 편이어서 난이도가 조금 더 낮은 편이라 성능은 더 뛰어나 보인다. deformation field는 3DMM이라는 얼굴 모델의 basis를 적극 활용했고 ray marching을 통해 surface point를 찾아내는 것은 똑같다. ray marching 과정에서 gradient가 끊기는 것을 연결하기 위해 사용한 수식은 SelfRecon과 사실상 동일하다는 점이 눈에 띄는데 SelfReco..

* 이전 기록 방식이 난잡하기도 하고 길이가 길어 이 글부터는 분량을 좀 줄이고 핵심 아이디어라고 생각되는 부분 외에는 생략하기로 했다. PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction 내 맘대로 Introduction PaMIR는 간단히 말해 PiFU 에 3D volume aligned feature를 추가한 것이다. pixel aligned feature 만 쓰는 PiFU에, 이미지에 미리 SMPL 모델을 피팅해두고 피팅된 모델을 둘러싼 공간을 3D convolution으로 feature화 해서 같이 쓰는 식이다. PiFu가 위와 같은 식으로 정리할 수 있다면, PaMIR는 아..

SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video 내 맘대로 Introduction 이 논문은 SMPL + NeRF 컨셉을 이용해서 3D Human reconstruction을 목표로 하는 논문이다. NeRF 컨셉을 녹인 것이기 때문에 결과물로 나오는 3D Human mesh는 SMPL류도 아니고 rigging이 가능한 형태도 아닌 그냥 mesh 덩어리다. 그냥 입력 데이터에 딱 맞는 덩어리가 나오는 논문이다. contribution 자체가 explicit method (SMPL 기반) 과 implicit method (SDF + NeRF) 를 합친 것에 있다. 사실 상 SMPL에 옷을 커버하는 +@를 더하는 컨셉을 유지하고 ..

Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance 내 맘대로 Introduction 2023.02.21 - [Reading/Paper] - [NeRF] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 이전 글에서 Inference tips에서 언급한 바와 같이 NeRF MLP에서 output으로 얻을 수 있는 volume density를 이용하면 3D geometry를 얻을 수 있다. density volume을 만들고 marching cube 알고리즘을 적용하는 방식이었다. 이 논문은 그 특징에서 착안한 듯하다. 어떻게 하면 3D ..

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 내 맘대로 Introduction NeRF는 나온지 2년 밖에 되지 않았지만 이제 비전 공부했다는 사람 중에 모르는 사람없을 정도로 유명해졌다. 오히려 모르면 안된다는 소리가 나올 정도로 엄청난 논문이고 개인적으로 GAN이 처음 등장했을 때보다 훨씬 큰 충격을 가한 논문이라고 생각한다. 내가 말하는 NeRF는 간단히 말하면 "어떤 대상의 여러 2D 이미지만 갖고 그 대상의 무한한 2D 이미지를 얻는 기술"이다. 정확히는 어떤 대상을 특정 각도로 촬영한 이미지로 네트워크를 하나 학습 시켜서 임의의 각도에서 촬영한 이미지를 생성해내는 기술이다. NeRF가 대단한 이유는 기존에 이러한..

High-Resolution Image Synthesis with Latent Diffusion Models 내 맘대로 Introduction diffusion 논문의 인기를 극단적으로 끌어올리는데 기여한 또 다른 기념비적 논문 중 하나다. diffusion model이 갖고 있는 문제를 해결하는 것은 contribution으로 주장하는 논문이다. diffusion model은 이미 기존 generative model의 단점을 상당수 개선했지만 여전히 문제점은 갖고 있다고 한다. 엄청나게 오래 걸리는 학습 시간 긴 inference 시간 2023.02.17 - [Reading/Paper] - [Diffusion] Denoising Diffusion Probabilistic Models 의 result 부..

Denoising Diffusion Probabilistic Models 내 맘대로 Introduction 이 논문은 요새 뜨거운 감자인 diffusion model을 처음으로 알렸다고 해도 과언이 아닐 정도로 기념비적인 논문이다. 이전에 2015년 diffusion model 개념을 처음 소개한 논문은 따로 있지만 실제 GAN에 대적하는 성능을 보인다고 주장하여 그 우수성을 입증한 것은 이 논문이기 때문에 더 유명하다. GAN처럼 likely-hood method를 사용하는 generative model의 일종이지만 기존에 GAN이 갖고 있는 mode collapse, 학습 불안정성, 다양성 부족과 같은 문제를 풀 수 있는 새로운 프레임워크인 diffusion model을 상세히 소개한다. 이 글은 d..