CODERNER

내 맘대로 Introduction 이 논문은 time dimension까지 추가해서 dynamic scene 복원을 하는 NeRF인데 TensoRF와 같이 데이터 표현법을 plane을 활용한 방식으로 변형해서 속도까지 향상시킨 논문이다. 기존 방식들에서 multi-plane, multi-grid 등 많은 형태가 있는데 이것들을 time dimension으로 확장시켰다고 보는 것이 맞을 것 같다. 3차원 x,y,z는 xy-yz-zx와 같이 나눴고 time은 완전 independent dimension이긴 하지만 앞선 spatial plane에서 하나 빠진 dimension과 엮어 xt, yt, zt로 나눴다. 따라서 이 6개의 평면을 조합하면 x,y,z,t 4차원 표현이 연속적으로 가능하게 되는 것이다. ..

내 맘대로 Introduction 이 논문은 제목만 봐서는 3d gaussian splatting에 time dimension을 추가하는 논문 같지만 그런 내용이 아니다. 멀티 카메라 세팅에서 첫 프레임을 일단 static scene 복원하듯이 복원해서 3d gaussian들을 확보해두고, 고정한 뒤에 이를 t+1, t+2, t+3 ...에 대해 progressively optimize하는 논문이다. 달성하고자 하는 task는 다음과 같다. progressively optimize를 하는 과정에서 각 3d gaussian의 움직임을 파악할 수 있게 되는데 이 움직임을 전부 연결하면 trajectory가 되므로 특정 object의 dense trajectory를 얻을 수 있다. particle level ..

내 맘대로 Introduction 4D gaussian에 이어 dynamic 3D GS 논문이다. 뭐가 먼저 나왔는지는 모르겠지만 NeRF에서 그랬듯 time dimension을 추가하는 방향으로 생각하는게 모든 사람이 똑같은 것 같다. 이 논문은 내가 생각하기에 계란 후라이도 아니고 반숙 후라이 논문이라고 부를 수 있을 정도로 3DGS 논문 나오자마자 바로 가스불 켜서 가장 간단한 아이디어 붙여서 구현한 논문인 것 같다. 아이디어적 contribution은 크게 없어보이고 그냥 누구보다 빠르게 구현해서 논문화했다는 점이 존경스러울 뿐이다. NeRF에서 그랬듯이 time, t 를 encoding해서 사용하는 방식을 택했는데 이 time encoding MLP가 implicit 한 방식인데 explicit..

내 맘대로 Introduction 바로 나올 것 같았다. 3D gaussian의 dynamic scene버전이다. NeRF에서도 time 축을 추가해서 dynamic NeRF가 바로 한 흐름을 가져갔는데 이것도 같은 컨셉을 3D gaussian splatting에 추가한 논문이다. 아이디어의 novelty는 그저 그런 편인 것 같고, deformation field를 구현할 때 그냥 3D grid 쓰는 것이 아니라 TensoRF처럼 6개의 평면으로 구현해서 연산량을 줄였단 것 정도가 자체 contribution으로 보인다. deformation field를 Hexplane으로 표현하더라도 결국 특정 voxel 공간을 잡고 시작하는 것인데, 3D gaussian splatting 자체가 열린 공간에 대한 ..

내 맘대로 Introduction 또 하나의 역대급 논문이 나온 것 같다. NeRF가 씹어먹고 있던 view synthesis 흐름에 새로운 컨셉이 등장했는데 NeRF를 압도하는 존재감을 바로 보인 논문이다. 2023년 SIGGRAPH에 등장한 논문인데 공개 2달 만에 6.6k star가 넘었다. (2023.10월 말 기준) NeRF는 공간 전체에 대해 색상과 불투명도를 예측하는 implicit function을 학습시키는 것이라면 이 논문은 다시 explicit으로 돌아간 논문이다. 비유하자면 복원할 공간에 (색상, 불투명도, 크기, 방향)을 가진 무수히 많은 쌀알들을 채워넣는 컨셉이다. 공간 자체에 구석구석 쌀알들로 채워놓으면 나중에 rendering을 하고자 할 때 쌀알들을 갖고 색상을 칠해버리면 ..

내 맘대로 Introduction 이 논문은 self-calibrating nerf, barf 와 같이 카메라 포즈도 같이 추정하는 nerf인데 내 기준 완성도가 가장 낮다. barf는 별 거 안해도 카메라 포즈 같이 최적화하는거 어느정도 된다 + 다만 positional encoding을 변화시켜주면 더 잘된다 중 후자는 그래도 의미가 있는데, 이 논문은 전자만 있다. 고로, contribution이 거의 없는 논문으로 보인다. 그냥 카메라 포즈랑 같이 최적화 해봤다 + 카메라 포즈가 얼마나 망가져 있어야 되고 안되고 그 정도를 분석해봤다 정도다. 보고서에 가까운 논문 메모하며 읽기 물체 바라보면서 하나의 카메라로 쭉 찍은 이미지들을 가정한다. intrinsic은 fx, fy 퉁쳐서 f 하나, cx, ..

내 맘대로 Introduction 이 논문은 이전 2023.10.30 - [Reading/Paper] - Self-Calibrating Neural Radiance Fields 와 같이 카메라 포즈와 NeRF를 동시에 최적화하는 방법을 소개한 논문이다. 시기적으로 큰 간격 없이 나온 논문이기 때문에 병렬적으로 진행된 같은 목적의 연구라고 보는게 맞다. 핵심 아이디어는 positional encoding을 특별하게 바꾸어서 카메라 포즈가 같이 (상대적으로) 안정적으로 최적화될 수 있도록 디자인한 것이다. 사실 안정적인지까지는 모르겠다. positional encoding 외에는 전부 동일하다. 논문이 조금 서론이 긴 느낌이었다. 메모하며 읽기 위 내용들은 사실 그냥 고찰에 가깝다. 요약하자면 이미지 간 w..

내 맘대로 Introduction 이 논문은 NeRF의 필수 요건인 known camera parameters 가 없을 때 이들은 같이 최적화할 수 있는 방법론을 소개한 논문이다. 비슷한 컨셉의 논문이 있겠지만 가장 유명하고 심플하다. NeRF MLP를 학습하는 과정에서 주어진 이미지의 intrinsic, extrinsin을 모를 때 적용할 수 있는 방법으로 1개의 카메라로 쭉 찍은 상황을 가정한다. 핵심 아이디어는 camera parameter 도 learnable 형태로 디자인하는데 학습 안정성을 높이는 것이다. 메모하며 읽기 기본적으로 self calibration 분야에 닿아있는 논문이므로, 비슷하게 fx, fy, cx, cy, distortion + nonlinear camera distorti..

내 맘대로 Introduction 이 논문은 제목에서도 알 수 있다시피 Mip-NeRF의 확장판이다. 사실상 Mip-NeRF++과 같은 개념이다. 타겟으로 하는 문제는 Mip-NeRF의 방식을 그대로 사용하되, 특정 크기로 한정하기 애매한 공간을 복원하는 방법이다. 무슨 말이냐면, 기존 방식들은 예를 들어 지름 1m 구체 안에 물체가 있는 경우와 같이 특정 공간을 한정하고 복원을 했다. 하지만 위 그림과 같이 한 물체를 중심에 두고 뱅글뱅글 돌면서 찍을 경우 배경은 지름 1m 구체를 한참 벗어난 영역에서 온 색상이기 때문에 쉽게 모델링할 수 없다. 결과적으로 지름 1m 구체 안에서 하늘 색깔도 표현해야 하고 멀리있는 나무 색깔도 표현해야 하니, 물리적으로 안맞는 상황 때문에 성능 저하가 있다는 문제를 풀..

내 맘대로 Introduction 이 논문은 NeRF에서 pixel마다 ray를 1개 할당하는 방식을 다르게 바라본 논문이다. 실제로 pixel 1칸에는 광선 1개가 담겨 색깔을 결정하지 않는다. pixel이 점이 아니고 실제론 면이기 때문에 frustrum에 속하는 광선 무한개가 모여 색깔을 결정한다. 이러한 물리적 특성을 그대로 반영하려면 NeRF를 구현할 때도 pixel 당 ray 개를 할당할 것이 아니라 pixel 당 frustrum을 할당하는 것이 맞다는 논리다. 실제로 이렇게 모델링이 되면 공간에 들어차있는 color나 opacity가 더 자연 현상과 가깝게 될 것이다. 논문의 핵심은 ray 대신 frustrum을 쓰는 것 + frustrum에 걸맞는 positional encoding을 새로..