CODERNER

내 맘대로 Introduction 이 논문은 NeuS 대비 속도, 성능 두 마리 토끼를 잡아 앞지르겠다는 논문이다. 1) TensoRF와 같이 데이터 representation을 바꾸는 것과 2) 바뀐 representation에 맞도록 positional encoding을 바꾸는 것, 3) self.attention convolution을 추가하는 것을 메인으로 다룬다. 추측컨대, 1)을 해보았을 때 아래 그림과 같이 단순히는 실패한다고 해서 2) 3)을 추가한 듯 하다. 메모하며 읽기 글은 길지만 핵심은 짧다. 커버하는 공간을 bounding box로 normalize하고, bounding box를 3개의 평면의 곱으로 분할한다는 것이다. TensoRF에서 volume을 vector-matrix de..

내 맘대로 Introduction SDF를 UDF로 대체한 NeuS 논문이라고 보면 된다. SDF가 outside/inside 구분에 좋은 형태인 것은 맞지만 outside/inside 구분이 확신하려면 watertight 형태일 필요가 있다. 즉, 뚫린 부분이 있는 형상일 때 성능이 하락한다. 뚫린 부분이 있으면 안팎이 뒤집히는 ray가 있기 때문에 학습이 어려워지기 때문이다. UDF는 SDF에서 signed을 없애버림으로써 outside/inside 구분으로 인한 효과를 최소화할 수 있다고 한다. UDF는 2개의 문제가 있어 논문에서 이를 해결하는게 contribution이다. 첫번째로 occluse-aware가 아니라는 점이다. SDF처럼 음수 값이 없기 때문에 이게 어디에 부딪혀 통과했는지 아닌지..

내 맘대로 Introduction NeRF 컨셉의 3D surface reconstruction 알고리즘의 고질병인 학습, 추론 속도를 빠르게 하기 위해 depth 정보를 끌어오고, MLP 대신 grid representation을 사용한 논문이다. 기존 Depth fusion에 비교한다면 hole이 더 잘 차있고 noise가 적다는 장점이 있고, NeRF 대비는 속도의 이점이 있다고 할 수 있을 것 같다. naive한 알고리즘 대비 무려 60배 빠르다고 한다. 사실 내가 볼 때 속도 개선의 핵심은 grid_sampler의 2nd derivative 기능을 CUDA로 직접 구현한 점인 것 같다. 앞에는 뭐... 그냥 조합한 느낌인데 이 기능적 구현이 contribution이 너무 크다. 메모하며 읽기 s..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..

내 맘대로 Introduction 반사가 심한 물체 표면을 어떻게 복원할 것인가에 대한 논문이다. 반사가 일어날 경우, 기존 알고리즘에서 가정하는 volume rendering 수식을 안통하기 때문에 모델링 결과가 처참한데 반사광을 따로 다루어 복원 성능을 끌어올린 논문이다. 세팅이 복잡해서 직접 사용해볼 엄두는 나지 않는 논문이다. 이 논문 역시 NeuS를 baseline으로 잡고 있는데 NeuS 수식을 그대로 이용하되 color network를 단순히 MLP 붙이고 끝이 아니라 BRDF 수식을 이용해 추가적인 모델링을 한 MLP를 사용한다. 메모하며 읽기 2 stage로 구성되어 있는데, 대충 coarse to fine 컨셉이다. 첫번째 스테이지에서 SDF + BRDF를 잘 녹여서 거의 90% 만들어..

내 맘대로 Introduction 성능이 좋은 SDF based surface recontruction 알고리즘 NeuS와 속도가 빠른 Voxel grid based surface reconstruction 알고리즘 DVGO를 어떻게 합칠까 고민한 논문이다. NeuS류 알고리즘의 고질적인 문제가 느린 수렴 속도인데 수 시간이 걸리는 것을 수십분으로 어떻게 축소할지 그 방법을 설명한다. 단순히 Voxel grid 표현법에 NeuS SDF 수식을 갖다 붙이면 잘 안되는데 그것을 어떻게 해결했는지가 핵심인 논문 메모하며 읽기 Introduction을 읽어보면 NeuS와 DVGO 각각의 문제점인 속도와 성능저하를 지적하고, 이를 해결하기 위해 두 개를 naive하게 섞으면 어떻게 되는지 보여준다. 그림에서 보듯..

DKM: Dense Kernelized Feature Matching for Geometry Estimation 내 맘대로 Introduction DKM 은 간단히 말해 feature matching 네트워크다. 즉, 두 이미지 간의 correspondence를 찾는 문제를 다루고 있다. SIFT나 SURF, ORB 등을 이용한 feature matching을 흔히 접해보았을 것이기 때문에 문제 자체는 익숙하다. DKM만의 차별점은, sparse correspondence가 아니라 dense correspondence라는 것이다. SIFT를 예로 들면, 두 이미지에서 각각 feature point들을 뽑아내고 feature descriptor를 비교하여 matching하는 방식이므로 point 레벨에서 ..

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections 내 맘대로 Introduction Photo Tourism이 등장했을 당시 그 임팩트가 굉장히 강했는데 그 후광을 조금 이용한 느낌이 든다. in the wild라는 단어를 집어넣은 것으로부터 알 수 있듯이 각잡고 static scene에 대해서 카메라로 찍는 세팅이 아니라, 다른 카메라, 다른 위치, 다른 빛, 다른 시간에서 촬영된 이미지를 조합해서 고정된 한 대상을 복원해내는 것을 목표로 하는 논문이다. 빛, 장애물, 색감 차이 등이 존재하는 환경에서 NeRF를 어떻게 학습시킬지 소개한다. 핵심 아이디어는 빛, 장애물, 색감 차이를 내포하는 latent code를 ..

PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop 내 맘대로 Introduction 이 논문은 한마디로 SMPLify, HMR, SPIN과 같이 single image 에 SMPL을 어떻게 잘 fitting하느냐에 관한 논문이다. optimization based, regression based 많은 연구들이 있어서 주제 자체는 새롭지 않지만 그 성능이 압도적이어서 ICCV 2021 Oral까지 받은 논문이 되겠다. HMR 같이 regression based 논문이며 입력은 single image, 출력은 SMPL 파라미터다. 차이점은 기존 regression based 알고리즘은 이미지 전체를 압축한..

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields 내 맘대로 Introduction 이 논문은 사진만 보아도 알 수 있듯이 Nerfies의 저자가 후속 연구로 진행한 것인데, NeRF를 확장하여 deformable NeRF를 (Nerfies 보다) 더 잘 만드는 논문이다. 단순히 물체의 이동이나 자세 변화 정도를 커버하는 것이 아니라 topology가 변화하는 수준까지 커버하는 것을 목표로 했으며 논문에서 대표적 예시로 극심한 얼굴 표정 변화를 사용하여 그 결과를 보여준다. 일단 project page의 데모 영상들만 보아도 압도적인 퀄리티를 자랑하는 것을 볼 수 있는데 성능 하나는 ..