CODERNER

Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans 내 맘대로 Introduction 이 논문은 NeRF를 움직이는 사람을 타겟으로 한정한 논문이다. "움직이는 사람의 자세"에 대한 condition이 추가된 NeRF라고 보면 된다. NeRF 관련 논문들이 쏟아져 나오기 시작하면서 나온 논문으로 당연히 나올 것 같다고 생각한 주제다. 이 논문은 NeRF가 소개된 이후 초창기에 나온 논문이기 때문에 독특한 방법론이 있다기 보다 움직이는 사람 자세를 어떻게 condition으로 넣어줄 것이냐만 추가한 단순한 논문이라고 볼 수 있다. 쉽게 예상할 수 있듯..

D-NeRF: Neural Radiance Fields for Dynamic Scenes 내 맘대로 Introduction 이 논문도 NeRF를 움직이는 대상으로 확대하는 방법에 대한 논문이다. 이전에 읽었던 2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 논문과 목적이 같은 논문이고 사실 상 아이디어도 같다. 같은 해 같은 학회에 제출된 논문들이기 때문에 서로에 대해 몰랐고 선점권 또한 없어서 같은 방법 두 개의 논문이 생긴 것 같다. 개인적으로 이 논문이 더 깔끔하게 작성한 것 같..

Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 내 맘대로 Introduction 이 논문은 제목 그대로 Non-rigid 즉, 고정되어 있는 물체가 아닌 움직이는 물체에 대해서 NeRF를 어떻게 구현할 수 있는지 설명하는 논문이다. 가볍게 말한다면 움직이는 대상은 시간에 따른 변화가 있는 물체를 말하는 것이니 NeRF에 time을 더하는 방법이다. 기존 NeRF가 새로운 시점 물체 이미지를 얻을 수 있었다면, NR-NeRF는 새로운 시점의 물체 비디오를 얻을 수 있게 되는 것이다. 생각하기를, 물체는 NeRF와 마찬가지로 고정된 상태로 한 공간에 가..

MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images 내 맘대로 Introduction 이 논문은 SCANimate의 generalization 버전이다. 사람 하나 하나 마련된 3D scan 데이터로부터 animatable avatar를 만드는 SCANimate 아이디어를 따오지만 걸리는 시간을 획기적으로 줄이고 scan까진 얻기 힘드니 depth 이미지를 갖고 그럴듯하게 만드는 방법을 소개한다. 컨셉을 간단히 말하면, 대규모 3D human 데이터를 이용해 대략 forward/inverse skinning weight를 추정하는 네트워크를 메타 네트워크로 만들어 두고, 특정 사람의 depth 이미지들이 생기면 특정 사람 ..

StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision 내 맘대로 Introduction 제목 그대로다. PiFU가 좋은 성능을 보여줬다고 한들 single view이기 때문에 문제가 많다. 애초에 depth ambiguity 때문에 풀 수 없는 것이 single view 3D reconsturction인데 이를 데이터에 의존해서 풀어낸 것이기 때문에 분명 한계가 있는 방법이다. 해결 방법은 multiview 정보를 쓰는 것 뿐인데 이 논문은 그 multiview를 two view로 한정해서 푼 논문이다. two view, 즉 stereo는 아직까지 타협할 수 있는 정도의 카메라 세팅이기 때문에 좋은 접근이라고 생각했다. stereo 세..

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization 내 맘대로 Introduction 제목에서 그대로 알 수 있듯이 PIFU의 HD 버전 논문이다. PiFU에서 pixel aligned feature를 이용하는 것이나, pixel aligned feature + depth z 를 입력으로 하는 occupancy network를 쓰는 것이나 동일하지만 더 성능을 끌어올리기 위해 추가 정보를 이용했다는 차이만 존재한다. 간단히 말하면 High resolution 이미지를 사용하는 module을 추가했고, front normal, back normal을 생성해서 추가 입력으로 사용한 차이가 있다..

ICON: Implicit Clothed humans Obtained from Normals내 맘대로 Introduction그림만 보면 영상으로부터 animatable avatar를 만들어내는 논문 같지만 실상은 frame by frame으로 3D human reconstruction하는 논문이다. 한마디로 PiFU나 PiFUHD 같은 결과를 얻고자 하는 논문이다. sequence를 쓰는 부분이나 animatable avatar를 만드는 부분은 SCANimate를 변형해서 뒤에 갖다 붙였기 때문이다. 변형 SCANimate까지를 contribution으로 가져가기 때문에 약간의 논문이 헷갈린다. SCANimate 논문은 이전 글 2023.03.30 - [Reading/Paper] - [Human] SCA..

SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks내 맘대로 Introduction이 논문은 3D Scan으로 얻은 human point cloud가 여러 sequence로 있을 때, 해당 사람의 animatable avatar를 생성하는 방법을 소개한다. 한마디로 scan to avatar 방법이다. 논문은 크게 두 단계로 나뉘며, 첫번째는 Scan sequence 하나 하나마다 canonical pose, 즉 기본 자세로 unpose하는 단계이고 두번째는 unposed scan sequence를 모두 다 합쳐 하나의 아바타로 만드는 단계이다. 한 사람을 정밀 복원하는 것이 목표로 다른 사람까지 복원해내는 범용적인 형태가 아..

Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation 내 맘대로 Introduction 이 논문은 제목에 그대로 Stereo matching 논문인데 "rectification 후 epipolar line을 따라 search한다." 라는 기본 stereo matching pipeline 에서 "epipolar line을 따라"를 변경한 논문이다. rectification은 완벽할 수 없기 때문에 (실제로 내가 해봐도 pixel 수준으로 align되도록 하는 것은 힘들더라) 하나의 epipolar line만 따라 search하는 것은 사실 실환경에서는 문제가 있는 접근법이라고 지적하며 rectification 오..

H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion 내 맘대로 Introduction NeRF란 고정된 대상에 대해 학습되는 알고리즘인데 이를 dynamic object, 특히 사람에 적용하려는 시도가 많이 있었다. 각종 warping 혹은 deformation을 정의해서 사람을 복원해내는 것까지 완성했는데 한가지 문제가 복원된 사람은 촬영된 이미지 범위에 한정된다는 것이다. 즉, 촬영된 이미지 상에서 취한 자세만 표현할 수 있는, 데이터 종속된 형태로 복원된다는 것이다. 이 논문은 이를 확장해서 unseen pose까지 커버할 수 있는 Human NeRF에 대한 내용이다. 핵심 아이디어는 ..