CODERNER

내 맘대로 Introduction Meta에서 낸 3D gaussian 활용 논문인데 결과가 압도적이다. 머리카락, 안구, 피부결까지 보일 정도로 고해상도 아바타를 만들어낼 수 있는 기술이다. 다만, 110대의 DSLR으로 촬영한 이미지들이 있어야만 하고 사람마다 학습을 따로 따로 해야하기 때문에 범용성에서는 아쉬운 점이 있다. 하지만 촬영 대상에 한해서는 여느 알고리즘과도 비교할 수 없을 정도로 정밀한 렌더링 결과를 보여준다. 심지어 촬영 때 calibrated light source까지 바꿔가면서 촬영했기 때문에 빛 변화도 같이 렌더링할 수 있다. 핵심 아이디어는 기존 머리 모델 (+안구 모델)의 texel 하나하나에 3d gaussian을 할당하고 VAE를 학습시키는 것이다. VAE로 만든 late..

논문을 읽다가 Spherical harmonic과 더불어 spherical gaussian이라는 개념이 있다는 것을 처음 알았다. 특히 specular light를 표현할 때 많이들 쓴다고 하는데 무슨 내용인지 간단히 나마 적어두고자 한다. Spherical gaussian이란? 한 마디로 표현하면 구면 좌표계에서 gaussian distribution을 표현하는 방법이다. 천천히 흔히 알고 있는 gaussian distribution에서부터 확장하면서 설명해보겠다. 먼저 1D 2Dgaussian은 알다시피 엄청 쉽다. 아래 그림처럼 line 혹은 plane 위에 그려진다. 3차원도, 4차원도 시각화할 수 없을 뿐이지 위와 같이 간단히 정리할 수 있고 각각 volume, tensor 상에 그려질 것이다...

내 맘대로 Introduction 개인적으로 역작이라고 생각하는 논문이 나왔다. 기계공학에서 접했던 mechanics 수식을 이용해 학습 완료된 3d gaussian은 simulation하는 논문이다. 컨셉은 dynamic 3D GS 같이 느껴지지만 time 축에 따라 학습을 추가로 시키는 것이 아니다. static 3D GS를 만드는 것까지는 기존 논문과 아무런 차이가 없고 그대로 사용하되, mechanics를 이용해 각 gaussian들이 힘을 받았을 때 어떻게 이동할지를 계산해서 time에 따른 변화를 "부여"하는 것이다. 학습이 아니라 직접 옮기는 방법이다. 진짜 시뮬레이션. 따라서 데이터를 추가로 video로 얻을 필요도 없고 그냥 기존 3D GS처럼 데이터 얻고 학습만 시키면 끝이다. 시뮬레이..

내 맘대로 Introduction 최근 scene coordinate regression이라는 흥미로운 분야를 보고 좀 찾아보기 시작했는데, 이 논문이 많이 인용되어 있길래 읽었다. 입력 이미지의 camera intrinsic과 depth ambiguity는 신경쓰지 않고 2D image to 3D point로 바로 regression하는 task다. 말이 되나 싶지만 요즘 data 빨로 2D-to abs.3D 컨셉의 논문이 워낙 잘되는게 많다 보니 이것도 되나보다. 더욱이 요즘 foundation model같이 데이터를 무한정 먹고 학습된 모델에서는 어이없을 정도로 잘 되는 결과도 있다. 따라서 직관적으로는 이해가 안되지만 데이터가 지배하는 시대에 데이터로 해결된다는 것을 보였기에 조금 다시 볼 필요가..

내 맘대로 Introduction 또 나왔다. Gaussian splatting SLAM. 대신 RGB만 대상으로 한다고 명확히 적혀있고 depth 대신 monodepth pseudo GT를 쓴다. 조금 더 progressive optimization을 섬세하게 한 느낌. 이론적 내용보다 구현을 되게 잘했지 않을까 싶다. 내용은 이전 논문들과 완전히 동일하다. 카메라 포즈가 같이 최적화되도록 열어둔 것. 이 논문도 간단히 기록하고 넘어간다. 메모하며 읽기 1) t-1, t 두 프레임 간의 gaussian을 최적화해서 초기값을 계속 잡아주는 local 3d gs 2) ~~ t frame 까지의 gaussian과 카메라 포즈를 전체 업데이트하는 global 3d gs로 나뉜다. 생략 설명이 길지만 한줄 요약..

내 맘대로 Introduction 이 논문은 제목이 곧 내용이다. 이전 SplaTAM, GS-SLAM 이랑 같은 내용이다. 3d gaussian으로 view synthesis와 SLAM 두 목적 다 달성하겠다는 논문. 같은 아이디어인데 논문 게재가 되지 않았기 때문에 중복 아이디어 논문이 많다. 발 빠르게 낸 논문인데 이미 같은 아이디어 논문이 2개나 있다. 핵심 내용도 똑같이 카메라 포즈와 3d gaussian과 같이 학습시키는 방법이다. 카메라 포즈에 대한 jacobian을 직접 수식 계산했다는 점엔서는 GS-SLAM이랑 비슷하지만 큰 틀에서는 그냥 3d gaussian splatting을 SLAM에 갖다 붙이기 때문에 큰 차이 없다. 다른 논문들은 RGBD 입력을 활용하고 이 논문은 RGB만 사용한..

내 맘대로 Introduction gaussian splatting이 explicit representation을 갖기 때문에 NeRF 대비 이런저런 시도를 많이 해보기 쉽다 보니, 활용 방안을 고민한 논문들이 꽤 보인다. 이 논문은 테크니컬 리포트에 가까운 논문인데, gaussian끼리 그룹짓고 id를 부여함으로써 segmentation이 쉽도록 하고 segmentation을 기반으로 editing해보는 논문이다. SAM과 zero-shot tracker를 갖다 붙였고 id parameter를 추가한 것이 전부기 때문에 이론적 도약은 별로 없다. 해본 것에 의미를 두면 되는 논문. 메모하며 읽기 별 내용 없다. gaussian splatting을 이해하고 있다면 이렇게 하면 segmentation도 되..

내 맘대로 Introduction 이 논문은 Mip-Splatting 과 같은 문제를 푼다. 학습할 때와 다른 해상도, 카메라 거리로 렌더링할 경우 aliasing이 발생하는 것을 막는 연구다. 이론적 기반으로 깔고 가는 nyquist frequency 기반 필터링은 mip-splatting과 완전히 동일하지만 구현해낸 방법이 다르다. mip-splatting의 경우, gaussian이 학습될 때 loss function에 이론을 적용해서 애초에 anti-aliasing된 gaussian 1 set를 만들어내는 식이고 이 논문은 해상도 별로 frequency 고려해서 gaussian을 따로 만들고 렌더링할 때 선별해내서 사용하는 식이다. 방법론이 mip-splatting보다는 단점이 많아서 하위 호환 정..

멀쩡히 docker를 잘 사용하다가 nvidia driver를 업데이트한 이후로 다음 오류가 발생했다. Error response from daemon: could not select device driver "" with capabilities: [[compute utility graphics gpu]] 1) 기존 만들어둔 컨테이너를 start/attach하는 경우 2) 새로운 컨테이너는 run하는 경우 위 두 경우 모두에서 같은 오류가 났다. 해결법 sudo apt-get update sudo apt-get install nvidia-container-toolkit sudo systemctl restart docker nvidia container toolkit을 설치하고 docker를 재시작하면 해..

내 맘대로 Introduction 제목에서 볼 수 있다시피 view가 부족할 때 학습시키는 방법론을 제시한 논문이다. 360도라고 해서 object centric이 아닌 이미지나 omnidirectional 이미지를 생각했는데 아니었다. 그냥 object centric으로 360도 뱅뱅 돌면서 찍었다는 이야기로 360도 자체가 의미를 갖진 않는 논문이다. 겉으로 드러나는 핵심 아이디어는 pretrained mondepth prior를 사용한 것이다. 하지만 적용하는 방법에 있어서 조금 더 디테일했다. 다른 논문들은 monodepth 이미지의 scale을 주어진 SfM point를 갖고 1개 찾아내고 끝인데, monodepth는 원래 부분적으로 scale이 다를 수도 있음을 지적하면서 patch base로..