CODERNER

내 맘대로 Introduction 그림만 봐도 익숙한 냄새가 팍팍 나는 논문이다. DS-NeRF가 순식간에 등장한 것처럼 Depth를 prior로 이용한 3D GS 논문이 뚝딱하고 나왔다. 컨셉 자체나 아이디어 자체가 DS-NeRF와 동일하기 때문에 논문 자체가 처음 읽지만 익숙한 느낌이다. NeRF의 경우, SfM/MVS point cloud를 아예 안 쓰는 구조였다보니 depth prior를 sfm/mvs point로 주었지만, 3D GS는 애초에 SfM 혹은 MVS point cloud를 초기값으로 쓰다보니 더 강한 depth prior를 주기 위해 mono depth를 활용했다는 점이 차이점이다. up-to-scale depth 문제 같은 경우, SfM point가 존재해서 대충 least squ..

내 맘대로 Introduction 곧 나오지 않을까 했는데 역시나 나왔다. 3D gaussian으로부터 geometry를 뽑아내는 연구. DreamGaussian과 같이 무식하게 voxel 공간 잡고 marching cube 돌리는 방식말고 방법론부터 새로 고민한 연구가 나왔다. 개인적으로 3D gaussian이 geometry에 맞아떨어지게 수렴하는 것이 보장되지 않는다는 점이 단점이라고 생각했었는데 3d gaussian to mesh 문제를 풀면서 이 문제까지 한 번에 푼 점에서 박수를 쳐주고 싶었다. 논문 자체는 결과 사진이 많이 차있어서 분량 대비 내용이 간단하다. 3d gaussian이 학습되는 과정에서 surface에 나란히 정렬되도록 regularization을 가하는 부분과 poisson ..

내 맘대로 Introduction 이 논문은 제목에서 짐작할 수 있다시피 3D gaussian과 SLAM을 엮은 것이다. 기존 SLAM이 camera pose랑 scene point cloud를 동시에 획득해나가는 과정이었다면 camera pose와 scene gaussian을 동시에 획득해나가는 과정을 담았다. 하나 아쉬운 점은 제목만 봐서는 Visual SLAM이니 RGB 이미지만 쓰는 것 같지만 까보면 RGB-D SLAM이다. 센서에서 들어오는 Depth 정보를 전적으로 신뢰하면서 이런저런 보정을 해나가는 방식이라 기대에는 살짝 못미치는 내용이었던 것 같다. 핵심 아이디어는 Depth 정보를 이용해 3d gaussian의 유효성을 판단하는 기준을 넣었다는 것이다. 내가 평소에도 생각했던 것이 3d ..

Spherical harmonic이라는 용어가 NeRF를 비롯한 논문들에 자주 등장하는데 정작 의미는 몰라 조금 정리를 해보고자 한다. 개념 자체의 출처가 수학과 물리학이다보니 모든 내용을 파고 들어 이해하는 것은 과한 것 같아, computer graphics에서 활용하는 이유를 받아들일 수 있을 정도로만 얕은 이해를 해보기로 했다. 일단, Spherical hormonic (이하 SH)를 이해하기 위해서 필요한 최소한의 수학과 직관으로부터 시작해보자! STEP 0 : 라플라스 방정식 개념 SH의 시작은 라플라스 방정식을 구면 좌표계에 적용해보는 것이다. 왜 굳이 구면 좌표계에 적용했냐? 라고 그 이유와 의미를 묻는다면...원래 수학이라는게 의미부여 이전에 개념을 정의하는 레벨이기 때문에 그냥 이렇게 ..

내 맘대로 Introduction 이 논문은 DreamFusion의 상위 호환(?) 정도 되는 논문으로 볼 수 있다. DreamFusion과 같은 시기에 제출된 논문이지만 DreamFusion이 arxiv에 올라온 이후에 제출된 논문이라 시간적으로는 DreamFusion 후속 연구에 가깝다. 후속 연구답게 목표로 하는 task는 text-to-3D이며 기존 2D diffusion model을 이용하여 3D로 어떻게 lifting하는지가 주 관심사다. 핵심 아이디어는 DreamFusion에서 소개한 SDS loss를 더 면밀히 파고들어 수학적으로 전개한 SJC(Score Jacobian Chaining) loss를 소개한다. 사실 SDS loss를 참고한 모양처럼 보이지만 별도로 연구했는데 공교롭게 먼저 ..

pycharm과 matplotlib.pyplot 둘 다 python 코딩할 때 굉장히 많이 쓰는데 특정 조합에서 다음과 같은 에러가 났었다. AttributeError: module 'backend_interagg' has no attribute 'FigureCanvas' 나 같은 경우, pycharm 2020 + matplotlib 3.8.2로 사용했을 때 위 오류가 났다. 위 에러는 site-packages/matplotlib.pyplot.py, line 343 에서 발생한 오류라서 matplotlib 자체 오류이고 뭔가 코딩을 잘못해서 그런 것은 아니다. 원인 이런 오류의 대부분은 버전 문제이듯이, 이 문제도 기본적으로 버전 문제가 맞다. FigureCanvas는 버전 3.6에서 deprecated..

내 맘대로 Introduction 또 발견했다. 계란 후라이 논문. 3D GS가 NeRF를 일각에서 너무 효과적으로 대체하다보니, NeRF를 붙여서 열심히 text-to-3D를 구현하던 사람들이 다 3D GS로 넘어오는 것 같다. 이 논문도 text-to-3D를 타겟으로 하는 논문인데, novelty가 있다기 보다 어떻게 2D, 3D diffusion model과 3D GS를 엮었는지 보여주는 테크니컬 리포트에 가깝다. 물리적으로 찾아낸 SfM 결과에서 시작한 것이 아니라 generation 모델로 얻어낸 결과에서 시작하는 컨셉을 보여주는 논문이다. 큰 틀에서는 이전에 봤던 DreamGaussian 과 동일하다고 볼 수 있다. 그래도 나름 차이점이라고 할 수 있는 핵심 아이디어는 DreamGaussian..

내 맘대로 Introduction 이 논문은 2019 CVPR논문이니 나온지는 꽤 됐고 지금 보면 그렇게 신선하다고 할 순 없지만, sarlin 팬이 되어버려 찾아읽었다. https://github.com/cvg/Hierarchical-Localization/tree/master GitHub - cvg/Hierarchical-Localization: Visual localization made easy with hloc Visual localization made easy with hloc. Contribute to cvg/Hierarchical-Localization development by creating an account on GitHub. github.com SIFT가 아닌 keypoint/d..

내 맘대로 Introduction 이 논문은 DreamFusion 과 같이 text/image-to-3D를 목표로 하는 논문으로 NeRF를 썼던 dreamfusion을 3d gaussian splatting을 쓰는 버전으로 확장한 컨셉이다. 3D gaussian splatting을 사용하면서 문제가 많이 쉬워졌기 때문에 컨셉은 비슷한데 성능이 더 뛰어난 것 같다. 성능의 핵심은 prior를 제공해주는 2D diffusion model의 성능이다. freeze된 2D diffusion model에 rendered image를 넣어 계산하는 SDS loss가 핵심이기 때문에 2D diffusion model이 잘 학습되어있어야 한다. 내가 볼 때 또 다른 핵심은 간단하긴 하지만 3d gaussian to m..

내 맘대로 Introduction 이 논문은 제목과 첫 인트로 그림만 봐서는 D-NeRF, DyNeRF HexPlane 등 time dimension을 추가한 NeRF 느낌이지만, 사실 핵심은 그게 아니다. 물론 time dimension에 대해서 주로 테스트한 것은 맞다. 핵심 아이디어는 네트워크 크기(파라미터 수)를 늘리지 않으면서 네트워크의 capacity는 늘리는 방법이다. 네트워크 크기가 커지면 학습이 느려짐과 동시에 렌더링 속도도 느려진다는 것은 이미 밝혀져있다. 하지만 네트워크 크기를 늘리지 않으면 네크워크가 표현할 수 있는 한계치가 있어 성능을 어느 정도 포기해야 한다. 이 논문에서는 네트워크 크기는 그대로 두되, 매 layer마다 residual weight를 두어 capacity를 늘리..