CODERNER

내 맘대로 Introduction 개인적으로 역작이라고 생각하는 논문이 나왔다. 기계공학에서 접했던 mechanics 수식을 이용해 학습 완료된 3d gaussian은 simulation하는 논문이다. 컨셉은 dynamic 3D GS 같이 느껴지지만 time 축에 따라 학습을 추가로 시키는 것이 아니다. static 3D GS를 만드는 것까지는 기존 논문과 아무런 차이가 없고 그대로 사용하되, mechanics를 이용해 각 gaussian들이 힘을 받았을 때 어떻게 이동할지를 계산해서 time에 따른 변화를 "부여"하는 것이다. 학습이 아니라 직접 옮기는 방법이다. 진짜 시뮬레이션. 따라서 데이터를 추가로 video로 얻을 필요도 없고 그냥 기존 3D GS처럼 데이터 얻고 학습만 시키면 끝이다. 시뮬레이..

내 맘대로 Introduction gaussian splatting이 explicit representation을 갖기 때문에 NeRF 대비 이런저런 시도를 많이 해보기 쉽다 보니, 활용 방안을 고민한 논문들이 꽤 보인다. 이 논문은 테크니컬 리포트에 가까운 논문인데, gaussian끼리 그룹짓고 id를 부여함으로써 segmentation이 쉽도록 하고 segmentation을 기반으로 editing해보는 논문이다. SAM과 zero-shot tracker를 갖다 붙였고 id parameter를 추가한 것이 전부기 때문에 이론적 도약은 별로 없다. 해본 것에 의미를 두면 되는 논문. 메모하며 읽기 별 내용 없다. gaussian splatting을 이해하고 있다면 이렇게 하면 segmentation도 되..

내 맘대로 Introduction 이 논문은 Mip-Splatting 과 같은 문제를 푼다. 학습할 때와 다른 해상도, 카메라 거리로 렌더링할 경우 aliasing이 발생하는 것을 막는 연구다. 이론적 기반으로 깔고 가는 nyquist frequency 기반 필터링은 mip-splatting과 완전히 동일하지만 구현해낸 방법이 다르다. mip-splatting의 경우, gaussian이 학습될 때 loss function에 이론을 적용해서 애초에 anti-aliasing된 gaussian 1 set를 만들어내는 식이고 이 논문은 해상도 별로 frequency 고려해서 gaussian을 따로 만들고 렌더링할 때 선별해내서 사용하는 식이다. 방법론이 mip-splatting보다는 단점이 많아서 하위 호환 정..

내 맘대로 Introduction 제목에서 볼 수 있다시피 view가 부족할 때 학습시키는 방법론을 제시한 논문이다. 360도라고 해서 object centric이 아닌 이미지나 omnidirectional 이미지를 생각했는데 아니었다. 그냥 object centric으로 360도 뱅뱅 돌면서 찍었다는 이야기로 360도 자체가 의미를 갖진 않는 논문이다. 겉으로 드러나는 핵심 아이디어는 pretrained mondepth prior를 사용한 것이다. 하지만 적용하는 방법에 있어서 조금 더 디테일했다. 다른 논문들은 monodepth 이미지의 scale을 주어진 SfM point를 갖고 1개 찾아내고 끝인데, monodepth는 원래 부분적으로 scale이 다를 수도 있음을 지적하면서 patch base로..

내 맘대로 Introduction 또 중요한 의미를 갖는 3D GS 파생 연구가 나온 것 같다. Mip-NeRF와 같이 aliasing 문제를 풀어서 성능을 끌어올리는 컨셉의 gaussian splatting 논문이다. 현재 3D GS 기술을 분석하길 3D to 2D gaussian projection 이후에 픽셀 해상도 단위로 discretize해서 사용하는 부분에서 성능 저하 여지가 많다고 지적한다. 이러한 문제는 학습할 때와 다른 focal length, 다른 카메라 거리일 때 두드러지는 현상과 일맥상통한다. 핵심 아이디어는 2d gaussian projection은 실제로 물리적으로 projection(검정색 선)되는데 실제로 구현적으로 픽셀 단위로 끊어지게 되는 projection(빨간색 선)과..

내 맘대로 Introduction 또 하나의 3D GS 후속 연구 중 한걸음 나아간 논문이 나왔다. 제목에서 볼 수 있다시피, 기존 3D GS 대비 성능 드랍 없이 속도를 훨씬 빠르게 한 논문이다. 핵심 아이디어는 1) gaussian pruning (filtering) logic을 추가해서 절대적으로 3D GS 수를 줄인 것 (내가 하고 싶었던 것이다.) 2) gaussian parameter를 quantize해서 용량 자체를 물리적으로 줄인 것. 이 두 개를 조합하니 성능은 오르고 속도는 빨라지는 결과를 얻을 수 있었다. 2)에 해당하는 내용은 둘째 치고 1)에서 pruning한 방법이 주요 포인트다. 메모하며 읽기 크게 3가지 과정으로 구성된다. 1) gaussian pruning - multivi..

내 맘대로 Introduction 그림만 봐도 익숙한 냄새가 팍팍 나는 논문이다. DS-NeRF가 순식간에 등장한 것처럼 Depth를 prior로 이용한 3D GS 논문이 뚝딱하고 나왔다. 컨셉 자체나 아이디어 자체가 DS-NeRF와 동일하기 때문에 논문 자체가 처음 읽지만 익숙한 느낌이다. NeRF의 경우, SfM/MVS point cloud를 아예 안 쓰는 구조였다보니 depth prior를 sfm/mvs point로 주었지만, 3D GS는 애초에 SfM 혹은 MVS point cloud를 초기값으로 쓰다보니 더 강한 depth prior를 주기 위해 mono depth를 활용했다는 점이 차이점이다. up-to-scale depth 문제 같은 경우, SfM point가 존재해서 대충 least squ..

내 맘대로 Introduction 곧 나오지 않을까 했는데 역시나 나왔다. 3D gaussian으로부터 geometry를 뽑아내는 연구. DreamGaussian과 같이 무식하게 voxel 공간 잡고 marching cube 돌리는 방식말고 방법론부터 새로 고민한 연구가 나왔다. 개인적으로 3D gaussian이 geometry에 맞아떨어지게 수렴하는 것이 보장되지 않는다는 점이 단점이라고 생각했었는데 3d gaussian to mesh 문제를 풀면서 이 문제까지 한 번에 푼 점에서 박수를 쳐주고 싶었다. 논문 자체는 결과 사진이 많이 차있어서 분량 대비 내용이 간단하다. 3d gaussian이 학습되는 과정에서 surface에 나란히 정렬되도록 regularization을 가하는 부분과 poisson ..

내 맘대로 Introduction 이 논문은 제목과 첫 인트로 그림만 봐서는 D-NeRF, DyNeRF HexPlane 등 time dimension을 추가한 NeRF 느낌이지만, 사실 핵심은 그게 아니다. 물론 time dimension에 대해서 주로 테스트한 것은 맞다. 핵심 아이디어는 네트워크 크기(파라미터 수)를 늘리지 않으면서 네트워크의 capacity는 늘리는 방법이다. 네트워크 크기가 커지면 학습이 느려짐과 동시에 렌더링 속도도 느려진다는 것은 이미 밝혀져있다. 하지만 네트워크 크기를 늘리지 않으면 네크워크가 표현할 수 있는 한계치가 있어 성능을 어느 정도 포기해야 한다. 이 논문에서는 네트워크 크기는 그대로 두되, 매 layer마다 residual weight를 두어 capacity를 늘리..

내 맘대로 Introduction 이 논문이 이전 논문 HexPlane 과 완전 동일한 주제로 동일한 학회 CVPR2023에 공개된 논문이다. 다루는 task는 똑같이 dynamic scene neural rendering인데 방법도 똑같다. 사실 그림까지 비슷해서 표절 논문이라고 맨처음에 생각할 정도였다. 교신 저자가 angjoo kanazawa이니... 그런 짓을 할 것 같진 않고 정말 유연히 같은 아이디어로 나온 논문이라고 봐야할 것 같다. x,y,z,t 4차원 정보를 encoding해서 NeRF를 학습시킬 때 메모리 이슈와 성능 이슈로 plane represenation을 선택했고 xy,yz,zx,xt,yt,zt 총 6개 평면을 사용했다. (완전 HexPlane과 동일하고 심지어 용어도 겹침 ㅋㅋ..