CODERNER

내 맘대로 Introduction NeRF 컨셉의 3D surface reconstruction 알고리즘의 고질병인 학습, 추론 속도를 빠르게 하기 위해 depth 정보를 끌어오고, MLP 대신 grid representation을 사용한 논문이다. 기존 Depth fusion에 비교한다면 hole이 더 잘 차있고 noise가 적다는 장점이 있고, NeRF 대비는 속도의 이점이 있다고 할 수 있을 것 같다. naive한 알고리즘 대비 무려 60배 빠르다고 한다. 사실 내가 볼 때 속도 개선의 핵심은 grid_sampler의 2nd derivative 기능을 CUDA로 직접 구현한 점인 것 같다. 앞에는 뭐... 그냥 조합한 느낌인데 이 기능적 구현이 contribution이 너무 크다. 메모하며 읽기 s..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..

내 맘대로 Introduction 반사가 심한 물체 표면을 어떻게 복원할 것인가에 대한 논문이다. 반사가 일어날 경우, 기존 알고리즘에서 가정하는 volume rendering 수식을 안통하기 때문에 모델링 결과가 처참한데 반사광을 따로 다루어 복원 성능을 끌어올린 논문이다. 세팅이 복잡해서 직접 사용해볼 엄두는 나지 않는 논문이다. 이 논문 역시 NeuS를 baseline으로 잡고 있는데 NeuS 수식을 그대로 이용하되 color network를 단순히 MLP 붙이고 끝이 아니라 BRDF 수식을 이용해 추가적인 모델링을 한 MLP를 사용한다. 메모하며 읽기 2 stage로 구성되어 있는데, 대충 coarse to fine 컨셉이다. 첫번째 스테이지에서 SDF + BRDF를 잘 녹여서 거의 90% 만들어..

내 맘대로 Introduction 성능이 좋은 SDF based surface recontruction 알고리즘 NeuS와 속도가 빠른 Voxel grid based surface reconstruction 알고리즘 DVGO를 어떻게 합칠까 고민한 논문이다. NeuS류 알고리즘의 고질적인 문제가 느린 수렴 속도인데 수 시간이 걸리는 것을 수십분으로 어떻게 축소할지 그 방법을 설명한다. 단순히 Voxel grid 표현법에 NeuS SDF 수식을 갖다 붙이면 잘 안되는데 그것을 어떻게 해결했는지가 핵심인 논문 메모하며 읽기 Introduction을 읽어보면 NeuS와 DVGO 각각의 문제점인 속도와 성능저하를 지적하고, 이를 해결하기 위해 두 개를 naive하게 섞으면 어떻게 되는지 보여준다. 그림에서 보듯..

DKM: Dense Kernelized Feature Matching for Geometry Estimation 내 맘대로 Introduction DKM 은 간단히 말해 feature matching 네트워크다. 즉, 두 이미지 간의 correspondence를 찾는 문제를 다루고 있다. SIFT나 SURF, ORB 등을 이용한 feature matching을 흔히 접해보았을 것이기 때문에 문제 자체는 익숙하다. DKM만의 차별점은, sparse correspondence가 아니라 dense correspondence라는 것이다. SIFT를 예로 들면, 두 이미지에서 각각 feature point들을 뽑아내고 feature descriptor를 비교하여 matching하는 방식이므로 point 레벨에서 ..

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections 내 맘대로 Introduction Photo Tourism이 등장했을 당시 그 임팩트가 굉장히 강했는데 그 후광을 조금 이용한 느낌이 든다. in the wild라는 단어를 집어넣은 것으로부터 알 수 있듯이 각잡고 static scene에 대해서 카메라로 찍는 세팅이 아니라, 다른 카메라, 다른 위치, 다른 빛, 다른 시간에서 촬영된 이미지를 조합해서 고정된 한 대상을 복원해내는 것을 목표로 하는 논문이다. 빛, 장애물, 색감 차이 등이 존재하는 환경에서 NeRF를 어떻게 학습시킬지 소개한다. 핵심 아이디어는 빛, 장애물, 색감 차이를 내포하는 latent code를 ..

PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop 내 맘대로 Introduction 이 논문은 한마디로 SMPLify, HMR, SPIN과 같이 single image 에 SMPL을 어떻게 잘 fitting하느냐에 관한 논문이다. optimization based, regression based 많은 연구들이 있어서 주제 자체는 새롭지 않지만 그 성능이 압도적이어서 ICCV 2021 Oral까지 받은 논문이 되겠다. HMR 같이 regression based 논문이며 입력은 single image, 출력은 SMPL 파라미터다. 차이점은 기존 regression based 알고리즘은 이미지 전체를 압축한..

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields 내 맘대로 Introduction 이 논문은 사진만 보아도 알 수 있듯이 Nerfies의 저자가 후속 연구로 진행한 것인데, NeRF를 확장하여 deformable NeRF를 (Nerfies 보다) 더 잘 만드는 논문이다. 단순히 물체의 이동이나 자세 변화 정도를 커버하는 것이 아니라 topology가 변화하는 수준까지 커버하는 것을 목표로 했으며 논문에서 대표적 예시로 극심한 얼굴 표정 변화를 사용하여 그 결과를 보여준다. 일단 project page의 데모 영상들만 보아도 압도적인 퀄리티를 자랑하는 것을 볼 수 있는데 성능 하나는 ..

Nerfies: Deformable Neural Radiance Fields 내 맘대로 Introduction2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 2023.04.07 - [Reading/Paper] - [NeRF] D-NeRF: Neural Radiance Fields for Dynamic Scenes 2023.04.08 - [Reading/Paper] - [Human] Animatable Neural Radiance Fields for Modeling Dynamic Hum..

Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies 내 맘대로 Introduction 2023.04.07 - [Reading/Paper] - [NeRF] D-NeRF: Neural Radiance Fields for Dynamic Scenes 2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 위 두 논문과 똑같은 논문이 또 있었다. NeRF에 time 축을 어떻게 추가할 것인가, 그래서 움직이는 사람 대상으로 NeRF..