CODERNER

Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 내 맘대로 Introduction 이 논문은 제목 그대로 Non-rigid 즉, 고정되어 있는 물체가 아닌 움직이는 물체에 대해서 NeRF를 어떻게 구현할 수 있는지 설명하는 논문이다. 가볍게 말한다면 움직이는 대상은 시간에 따른 변화가 있는 물체를 말하는 것이니 NeRF에 time을 더하는 방법이다. 기존 NeRF가 새로운 시점 물체 이미지를 얻을 수 있었다면, NR-NeRF는 새로운 시점의 물체 비디오를 얻을 수 있게 되는 것이다. 생각하기를, 물체는 NeRF와 마찬가지로 고정된 상태로 한 공간에 가..

MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images 내 맘대로 Introduction 이 논문은 SCANimate의 generalization 버전이다. 사람 하나 하나 마련된 3D scan 데이터로부터 animatable avatar를 만드는 SCANimate 아이디어를 따오지만 걸리는 시간을 획기적으로 줄이고 scan까진 얻기 힘드니 depth 이미지를 갖고 그럴듯하게 만드는 방법을 소개한다. 컨셉을 간단히 말하면, 대규모 3D human 데이터를 이용해 대략 forward/inverse skinning weight를 추정하는 네트워크를 메타 네트워크로 만들어 두고, 특정 사람의 depth 이미지들이 생기면 특정 사람 ..

StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision 내 맘대로 Introduction 제목 그대로다. PiFU가 좋은 성능을 보여줬다고 한들 single view이기 때문에 문제가 많다. 애초에 depth ambiguity 때문에 풀 수 없는 것이 single view 3D reconsturction인데 이를 데이터에 의존해서 풀어낸 것이기 때문에 분명 한계가 있는 방법이다. 해결 방법은 multiview 정보를 쓰는 것 뿐인데 이 논문은 그 multiview를 two view로 한정해서 푼 논문이다. two view, 즉 stereo는 아직까지 타협할 수 있는 정도의 카메라 세팅이기 때문에 좋은 접근이라고 생각했다. stereo 세..

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization 내 맘대로 Introduction 제목에서 그대로 알 수 있듯이 PIFU의 HD 버전 논문이다. PiFU에서 pixel aligned feature를 이용하는 것이나, pixel aligned feature + depth z 를 입력으로 하는 occupancy network를 쓰는 것이나 동일하지만 더 성능을 끌어올리기 위해 추가 정보를 이용했다는 차이만 존재한다. 간단히 말하면 High resolution 이미지를 사용하는 module을 추가했고, front normal, back normal을 생성해서 추가 입력으로 사용한 차이가 있다..

ICON: Implicit Clothed humans Obtained from Normals내 맘대로 Introduction그림만 보면 영상으로부터 animatable avatar를 만들어내는 논문 같지만 실상은 frame by frame으로 3D human reconstruction하는 논문이다. 한마디로 PiFU나 PiFUHD 같은 결과를 얻고자 하는 논문이다. sequence를 쓰는 부분이나 animatable avatar를 만드는 부분은 SCANimate를 변형해서 뒤에 갖다 붙였기 때문이다. 변형 SCANimate까지를 contribution으로 가져가기 때문에 약간의 논문이 헷갈린다. SCANimate 논문은 이전 글 2023.03.30 - [Reading/Paper] - [Human] SCA..

SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks내 맘대로 Introduction이 논문은 3D Scan으로 얻은 human point cloud가 여러 sequence로 있을 때, 해당 사람의 animatable avatar를 생성하는 방법을 소개한다. 한마디로 scan to avatar 방법이다. 논문은 크게 두 단계로 나뉘며, 첫번째는 Scan sequence 하나 하나마다 canonical pose, 즉 기본 자세로 unpose하는 단계이고 두번째는 unposed scan sequence를 모두 다 합쳐 하나의 아바타로 만드는 단계이다. 한 사람을 정밀 복원하는 것이 목표로 다른 사람까지 복원해내는 범용적인 형태가 아..

Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation 내 맘대로 Introduction 이 논문은 제목에 그대로 Stereo matching 논문인데 "rectification 후 epipolar line을 따라 search한다." 라는 기본 stereo matching pipeline 에서 "epipolar line을 따라"를 변경한 논문이다. rectification은 완벽할 수 없기 때문에 (실제로 내가 해봐도 pixel 수준으로 align되도록 하는 것은 힘들더라) 하나의 epipolar line만 따라 search하는 것은 사실 실환경에서는 문제가 있는 접근법이라고 지적하며 rectification 오..

H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion 내 맘대로 Introduction NeRF란 고정된 대상에 대해 학습되는 알고리즘인데 이를 dynamic object, 특히 사람에 적용하려는 시도가 많이 있었다. 각종 warping 혹은 deformation을 정의해서 사람을 복원해내는 것까지 완성했는데 한가지 문제가 복원된 사람은 촬영된 이미지 범위에 한정된다는 것이다. 즉, 촬영된 이미지 상에서 취한 자세만 표현할 수 있는, 데이터 종속된 형태로 복원된다는 것이다. 이 논문은 이를 확장해서 unseen pose까지 커버할 수 있는 Human NeRF에 대한 내용이다. 핵심 아이디어는 ..

imGHUM: Implicit Generative Models of 3D Human Shape and Articulated Pose 내 맘대로 Introduction 2023.03.13 - [Reading/Paper] - [Human] GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 이전 글에서 소개한 GHUM이라는 모델은 SMPL 상위 호환 버전의 모델이다. 하지만 이 GHUM은 parameterization 방식이 PCA가 아닌 VAE+deep learning 기반이라는 차이가 있는 것이지 원리 자체는 SMPL과 동일한 형태의 mesh model이다. 정해진 개수의 vertex와 정해진 순서의 face를 갖고 있는 discret..

GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 내 맘대로 Introduction 이 논문은 SMPL 시리즈 (SMPL, SMPL+H, SMPL+D, SMPL+X)와 같은 parametric human model을 만드는 것을 목표로 했다. 단 기존 SMPL이 body에만 집중했던 것을 넘어서 얼굴와 손을 포함한 모델이며 파라미터를 만드는 방식이 PCA 기반이 아닌 deep learning을 통한 방식이다. 파라미터를 그냥 loss 설계하고 backpropagation으로 찾아지는 값 그대로 쓰는 것인데 효과적인 학습을 위해서 PCA 기반 값을 초기화값으로 사용하거나 low-dimension 모델인 GHUML은 대놓고 PCA 기반 ..