CODERNER

내 맘대로 Introduction 이 논문은 제목만 봐서는 3d gaussian splatting에 time dimension을 추가하는 논문 같지만 그런 내용이 아니다. 멀티 카메라 세팅에서 첫 프레임을 일단 static scene 복원하듯이 복원해서 3d gaussian들을 확보해두고, 고정한 뒤에 이를 t+1, t+2, t+3 ...에 대해 progressively optimize하는 논문이다. 달성하고자 하는 task는 다음과 같다. progressively optimize를 하는 과정에서 각 3d gaussian의 움직임을 파악할 수 있게 되는데 이 움직임을 전부 연결하면 trajectory가 되므로 특정 object의 dense trajectory를 얻을 수 있다. particle level ..

내 맘대로 Introduction 4D gaussian에 이어 dynamic 3D GS 논문이다. 뭐가 먼저 나왔는지는 모르겠지만 NeRF에서 그랬듯 time dimension을 추가하는 방향으로 생각하는게 모든 사람이 똑같은 것 같다. 이 논문은 내가 생각하기에 계란 후라이도 아니고 반숙 후라이 논문이라고 부를 수 있을 정도로 3DGS 논문 나오자마자 바로 가스불 켜서 가장 간단한 아이디어 붙여서 구현한 논문인 것 같다. 아이디어적 contribution은 크게 없어보이고 그냥 누구보다 빠르게 구현해서 논문화했다는 점이 존경스러울 뿐이다. NeRF에서 그랬듯이 time, t 를 encoding해서 사용하는 방식을 택했는데 이 time encoding MLP가 implicit 한 방식인데 explicit..

내 맘대로 Introduction 이 논문은 ACMM, ACMP, ACMMP의 저자의 후속 연구로 봐도 무방할 것 같다. 2저자로 Qinshan Xu가 있는 것과 논문 구조, 그림만 봐도 거의 ACMP++이다. 핵심 아이디어는 patchmatch stereo pipeline을 그대로 가져가되 neighbor를 정의하는 방식을 좀 더 dynamic하게 변경해서 좁게 보아야 할 때는 좁게, 멀리 보아야 할 때는 멀리 볼 수 있도록 했다. 이렇게 변경함으로써 얻는 장점은, 정적으로 neighbor를 정의할 경우, 멀리까지 탐색해야 할 때도 근처에서 탐색하면 local minima에 빠질 위험이 늘어나는데 동적으로 탐색하기 때문에 이런 문제가 완화된다. 또한 ACMP에서 최종 1번만 수행했던 planar pri..

내 맘대로 Introduction 이 논문은 이전 논문 [ACMM]의 확장판이다. 정확히는 ACMM + planar prior를 이용한 추가 optimization이 끼는 구조로 뒤에 이어 붙이는 식의 확장이다. 핵심 아이디어는 다음과 같다. ACMM을 돌리면 textureless region을 제외한 웬만한 영역에서 3d point가 잘 나와주는데 이걸 reprojection에서 이미지에 내려찍은 뒤, anchor처럼 이용하여 2d triangulation을 한다. 그리고 가정하길, 2d triangulation으로 얻어진 삼각형 하나하나는 평면으로 간주되다는 것이다. 이러한 가정을 cost function에 추가해서 다시 한 번 최적화를 돌려주는 것이다. 이걸 이용해서 비어있던 공간이 완벽하게 채워지..

내 맘대로 Introduction 이 논문은 MVS 논문인데 이전에 간단히 기록했던 2015년 patchmatch stereo 기반 MVS 논문 [link] 의 확장판으로 2019년 비교적 최근에 등장한 논문이다. 주목할만한 점은 딥러닝이 판을 치기 시작한지 한참 지난 시간임에도 딥러닝 하나 없이 훌륭한 성능을 달성한 것이다. 기본에 충실하게 logic을 검토하면서 MVS 파이프라인을 구현한게 존경할 만하다. 코드가 방대한 양이 아니라 고작 h, cpp 2쌍으로 끝나도록 간결하게 구현했는데 성능이 좋은 것도 주목할 만 하다. 핵심 아이디어는 기존 patchmatch stereo에서 neighbor 영역을 정의할 때, red-black region으로 나누기 + 마름모꼴로 정의했는데 red-black re..

내 맘대로 Introduction 이 논문 역시 꽤 오래된 2015년 논문인데 Patchmatch stereo의 multiview 버전이다. 핵심적인 아이디어는 patchmatch stereo와 완전히 동일하고 중간 중간 neighbor pixel을 정의하는 방법을 좀 더 넓은 범위를 효과적으로 보도록 변경한 것이 있다. patchmatch stereo의 아쉬운 부분이 multiview 특성 상 더 많은 시점 정보로 인해 보완되어 전체적인 성능은 많이 올라가 보인다. MVS의 기초와 같은 논문이어서 기록을 위해 정리하고자 한다. 메모하며 읽기 앞의 patchmatch stereo recap은 생략. 완전 동일하다. 전체 최적화 과정에서 사용하는 cost function을 가져온 것이라 그냥 똑같은 것. ..

내 맘대로 Introduction 엄청 오래 된 2011년 논문이다. 그 당시 딥러닝 없이 이미지 disparity 찾는 기술 중 가장 유명한 것이 patch match였고 이를 stereo에 확장한 논문이다. 이제는 더 이상 활용할 수 없을 정도로 오래 된 논문이기는 하지만 몇몇 MVS 논문들에서 여전히 기본으로 깔고 가는 논문이기도 해서 간단히 정리해두고 한다. patchmatch의 핵심 아이디어는 픽셀마다 패치를 할당하고 이미지 A, B 패치 간의 매칭을 무작위로 수행한 뒤, 우연히 잘 된 매칭이 있다면 이를 propagation해서 주변을 점진적으로 매칭해나가는 방식이다. patchmatch stereo는 patchmatch의 컨셉을 가져와 픽셀마다 3d plane(정확히는 dispairty pl..

내 맘대로 Introduction 이름에서도 알 수 있다시피 superglue의 후속작이다. 같은 저자가 쓴 논문이고 풀고자 하는 문제도 여전히 feature matching으로 같다. 핵심 내용은 사실 상 superglue에서 성능과 속도 trade off를 만드는 요소를 분석해서 이를 대체한 것이다. 연산량이 많은 들어가면 sinkhorn 알고리즘을 대체한 것, iterative refinement를 정해진 횟수를 다 돌지 않고 중간에 중단할 수 있는 logic을 만든 것이 속도 상승의 핵심이고 feature similarity에만 의존하던 correspondence 선별을 matchability라는 개념을 추가해서 보강하는 것이 성능 상승의 핵심이다. 메모하며 읽기 일단 성능은 둘째치고 iterat..

내 맘대로 Introduction Superpoint와 시리즈물로 불리는 superglue라는 이름의 feature matcher다. 보통 keypoint는 descriptor가 존재하면 descriptor를 갖고 BF matching을 하거나 Flann matching을 하는 등 단순하게 descriptor similarity를 기반으로 matching하는 것이 기본이다. 하지만 이렇게 하면 descriptor가 유효한지 무효한지 구분력 없이 그냥 매칭하기 때문에 오매칭이 굉장히 많아 별도의 filtering이 필요하다. cross-check를 하는 것 + homography filtering이 그 예시다. 이 논문은 이러한 문제를 해결하기 위해 matching을 딥러닝에 맡긴 논문이다. 보통 SfM에..

내 맘대로 Introduction keypoint detector 중 가장 유명한 논문이 아닐까 싶다. 유명한 만큼 성능도 준수하고 직관적이다. 나온지 꽤 된 논문이긴 하지만 여전히 잘 쓰이고 있는 논문이고 superglue, lightglue 등 시리즈 논문들도 준수하기 때문에 읽어두면 좋을 기초 논문이다. 핵심 아이디어는 우리가 keypoint라고 하면 떠올리는 corner, edge 위주로 만든 synthetic dataset으로 학습을 시켜 일반 이미지에 적용할 수 있도록 확장하는 방법이다. 즉, synthetic simple dataset으로 학습시켜서 generalized keypoint detector를 만드는 논문이다. 흐름은 fully synthetic training으로 MagicPoi..