CODERNER

내 맘대로 Introduction 이 논문은 이전 2023.10.30 - [Reading/Paper] - Self-Calibrating Neural Radiance Fields 와 같이 카메라 포즈와 NeRF를 동시에 최적화하는 방법을 소개한 논문이다. 시기적으로 큰 간격 없이 나온 논문이기 때문에 병렬적으로 진행된 같은 목적의 연구라고 보는게 맞다. 핵심 아이디어는 positional encoding을 특별하게 바꾸어서 카메라 포즈가 같이 (상대적으로) 안정적으로 최적화될 수 있도록 디자인한 것이다. 사실 안정적인지까지는 모르겠다. positional encoding 외에는 전부 동일하다. 논문이 조금 서론이 긴 느낌이었다. 메모하며 읽기 위 내용들은 사실 그냥 고찰에 가깝다. 요약하자면 이미지 간 w..

내 맘대로 Introduction 이 논문은 NeRF의 필수 요건인 known camera parameters 가 없을 때 이들은 같이 최적화할 수 있는 방법론을 소개한 논문이다. 비슷한 컨셉의 논문이 있겠지만 가장 유명하고 심플하다. NeRF MLP를 학습하는 과정에서 주어진 이미지의 intrinsic, extrinsin을 모를 때 적용할 수 있는 방법으로 1개의 카메라로 쭉 찍은 상황을 가정한다. 핵심 아이디어는 camera parameter 도 learnable 형태로 디자인하는데 학습 안정성을 높이는 것이다. 메모하며 읽기 기본적으로 self calibration 분야에 닿아있는 논문이므로, 비슷하게 fx, fy, cx, cy, distortion + nonlinear camera distorti..

내 맘대로 Introduction 이 논문은 기존의 COLMAP과 같은 SfM 파이프라인에 3D implicit surface reconstruction을 추가한 논문이다. SIFT를 이용한 feature matching으로 시작하는 방식은 완전히 버리지 못했지만, triangulation이나 reprojection error를 계산하는 곳곳에 SDF network output을 박아넣어서 결과적으로 camera pose, 3D point, surface가 다 나오도록 설계했다. 딥러닝임에도 optimization에 가까운 NeRF 컨셉과 진짜 optimization인 SfM을 잘 섞은 듯하다. 속도가 엄청 느릴 것이 걱정되고 안정성이 떨어질 것 같은데 새로운 방식을 제안한 것이 의미가 큰 것 같다. 성..

내 맘대로 Introduction 이 논문은 제목에서도 알 수 있다시피 Mip-NeRF의 확장판이다. 사실상 Mip-NeRF++과 같은 개념이다. 타겟으로 하는 문제는 Mip-NeRF의 방식을 그대로 사용하되, 특정 크기로 한정하기 애매한 공간을 복원하는 방법이다. 무슨 말이냐면, 기존 방식들은 예를 들어 지름 1m 구체 안에 물체가 있는 경우와 같이 특정 공간을 한정하고 복원을 했다. 하지만 위 그림과 같이 한 물체를 중심에 두고 뱅글뱅글 돌면서 찍을 경우 배경은 지름 1m 구체를 한참 벗어난 영역에서 온 색상이기 때문에 쉽게 모델링할 수 없다. 결과적으로 지름 1m 구체 안에서 하늘 색깔도 표현해야 하고 멀리있는 나무 색깔도 표현해야 하니, 물리적으로 안맞는 상황 때문에 성능 저하가 있다는 문제를 풀..

내 맘대로 Introduction 이 논문은 NeRF에서 pixel마다 ray를 1개 할당하는 방식을 다르게 바라본 논문이다. 실제로 pixel 1칸에는 광선 1개가 담겨 색깔을 결정하지 않는다. pixel이 점이 아니고 실제론 면이기 때문에 frustrum에 속하는 광선 무한개가 모여 색깔을 결정한다. 이러한 물리적 특성을 그대로 반영하려면 NeRF를 구현할 때도 pixel 당 ray 개를 할당할 것이 아니라 pixel 당 frustrum을 할당하는 것이 맞다는 논리다. 실제로 이렇게 모델링이 되면 공간에 들어차있는 color나 opacity가 더 자연 현상과 가깝게 될 것이다. 논문의 핵심은 ray 대신 frustrum을 쓰는 것 + frustrum에 걸맞는 positional encoding을 새로..

내 맘대로 Introduction 이 논문은 MegaNeRF처럼 정해진 공간을 넘어서 광범위한 영역을 커버하는 방법 + 카메라 포즈를 SfM으로 초기화하지 않아도 학습할 수 있는 방법을 섞은 논문이다. 타겟을 video 영상으로 정하고 camera trajectory와 그 주변 공간을 여러개의 NeRF model로 나누어 SLAM처럼 같이 복원해나가는 논문이다. 핵심은 optical flow와 monodepth을 이용해 camera R|t 를 찾을 수 있도록 loss를 설계한 것과 현재 잡은 공간을 벗어나는 경우 벗어난 카메라를 중심으로 새로 공간을 잡아 업데이트 대상 공간을 갈아타는 것이다. 그리고 구현적으로도 메모리 이슈가 없도록 버릴 것 버리는 식으로 구현한 것도 의미가 있다. 메모하며 읽기 그림 ..

읽게 된 계기 우연히 어떤 광고물에서인지, 사랑은 연습을 통해 배워야 하는 것이라는 이야기를 들었는데 그게 이 책에서 나왔다는 것을 알고 읽어보고 싶었다. 보통 나를 포함한 모든 사람들이 생각하길, 나에게 맞는 짝이 있다고 생각하는데 과연 누가 그 짝이고 어떻게 알아볼 것인지, 무엇이 다를지 이런 고민을 한 적이 있다. 수동적으로 생각하는게 일반적이었다. 하지만 어느 순간에는 그냥 내가 마음 먹기 나름이지 않을까라는 생각도 들기도 했다. 이런저런 생각을 하던 와중에 이 책에서 저런 말을 던지니 흥미가 생길 수 밖에 없었던 것 같다. 짧은 평 책 자체가 일단 어렵다. 거의 철학책에 가깝고 초반부를 지나면 중반부에 종교, 신앙과 관련된 내용은 사실 이해가 어려워서 포기했다. 책 자체는 연애에서 말하는 사랑 ..

내 맘대로 Introduction 2023.10.18 - [Reading/Paper] - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks 2023.10.19 - [Reading/Paper] - Neural Fields as Learnable Kernels for 3D Reconstruction 이전 두 논문, 즉 PCD를 MLP 기반 function으로 만든 kernel로 mesh하는 논문의 가장 끝판왕 논문이라고 할 수 있다. 사실 이 논문을 이해하기 위해서 위 두 논문을 연달아 보았다. 이 논문 역시 한 마디로 정리하면 NKF처럼 point xyz + feature를 이용하여 neural kernel을 만들어내는 것인데..

내 맘대로 Introduction 2023.10.18 - [Reading/Paper] - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks 이전 글에서 소개한 논문의 확장판이다. 이전 논문이 2겹의 MLP+ReLU로 설계한 mapping function을 갖고 kernel method를 적용하면, poisson reconsturction처럼 PCD to Mesh를 학습 없이 변환할 수 있다는 내용이었는데 비슷하다. 차이점이라 함은 2겹이 MLP+ReLU 네트워크가 다루는 입력이 이전에는 point xyz 3차원 정보 뿐이었다면 이제는 point xyz + point feature 를 다루도록 확장한 것이 차이점이다. poin..

내 맘대로 Introduction 이 논문은 Poisson reconsturction 처럼 PCD가 주어졌을 때 position과 normal을 이용해서 SDF를 추정하여 mesh화 해주는 논문이다. 즉, poisson reconstruction의 상위 호환의 알고리즘이라고 할 수 있다. neural 이 붙어있어서 데이터로 때려박아서 학습시키는 것 같은 느낌을 주지만, neuron을 2개 사용했기 때문에 우리가 흔히 아는 neural 알고리즘과 다르다. 핵심은 kernel method를 기반으로 작성되어 있기 때문에 사실 상 classic한 방식에 가깝다. 내용의 핵심은, f(position, normal) -> sdf 에서의 f를 찾아내겠다는 것인데 f를 찾아내는 것이 만만치 않으니 kernel met..