CODERNER

내 맘대로 Introduction 이 논문 역시 꽤 오래된 2015년 논문인데 Patchmatch stereo의 multiview 버전이다. 핵심적인 아이디어는 patchmatch stereo와 완전히 동일하고 중간 중간 neighbor pixel을 정의하는 방법을 좀 더 넓은 범위를 효과적으로 보도록 변경한 것이 있다. patchmatch stereo의 아쉬운 부분이 multiview 특성 상 더 많은 시점 정보로 인해 보완되어 전체적인 성능은 많이 올라가 보인다. MVS의 기초와 같은 논문이어서 기록을 위해 정리하고자 한다. 메모하며 읽기 앞의 patchmatch stereo recap은 생략. 완전 동일하다. 전체 최적화 과정에서 사용하는 cost function을 가져온 것이라 그냥 똑같은 것. ..

내 맘대로 Introduction 엄청 오래 된 2011년 논문이다. 그 당시 딥러닝 없이 이미지 disparity 찾는 기술 중 가장 유명한 것이 patch match였고 이를 stereo에 확장한 논문이다. 이제는 더 이상 활용할 수 없을 정도로 오래 된 논문이기는 하지만 몇몇 MVS 논문들에서 여전히 기본으로 깔고 가는 논문이기도 해서 간단히 정리해두고 한다. patchmatch의 핵심 아이디어는 픽셀마다 패치를 할당하고 이미지 A, B 패치 간의 매칭을 무작위로 수행한 뒤, 우연히 잘 된 매칭이 있다면 이를 propagation해서 주변을 점진적으로 매칭해나가는 방식이다. patchmatch stereo는 patchmatch의 컨셉을 가져와 픽셀마다 3d plane(정확히는 dispairty pl..

내 맘대로 Introduction 이름에서도 알 수 있다시피 superglue의 후속작이다. 같은 저자가 쓴 논문이고 풀고자 하는 문제도 여전히 feature matching으로 같다. 핵심 내용은 사실 상 superglue에서 성능과 속도 trade off를 만드는 요소를 분석해서 이를 대체한 것이다. 연산량이 많은 들어가면 sinkhorn 알고리즘을 대체한 것, iterative refinement를 정해진 횟수를 다 돌지 않고 중간에 중단할 수 있는 logic을 만든 것이 속도 상승의 핵심이고 feature similarity에만 의존하던 correspondence 선별을 matchability라는 개념을 추가해서 보강하는 것이 성능 상승의 핵심이다. 메모하며 읽기 일단 성능은 둘째치고 iterat..

내 맘대로 Introduction Superpoint와 시리즈물로 불리는 superglue라는 이름의 feature matcher다. 보통 keypoint는 descriptor가 존재하면 descriptor를 갖고 BF matching을 하거나 Flann matching을 하는 등 단순하게 descriptor similarity를 기반으로 matching하는 것이 기본이다. 하지만 이렇게 하면 descriptor가 유효한지 무효한지 구분력 없이 그냥 매칭하기 때문에 오매칭이 굉장히 많아 별도의 filtering이 필요하다. cross-check를 하는 것 + homography filtering이 그 예시다. 이 논문은 이러한 문제를 해결하기 위해 matching을 딥러닝에 맡긴 논문이다. 보통 SfM에..

내 맘대로 Introduction keypoint detector 중 가장 유명한 논문이 아닐까 싶다. 유명한 만큼 성능도 준수하고 직관적이다. 나온지 꽤 된 논문이긴 하지만 여전히 잘 쓰이고 있는 논문이고 superglue, lightglue 등 시리즈 논문들도 준수하기 때문에 읽어두면 좋을 기초 논문이다. 핵심 아이디어는 우리가 keypoint라고 하면 떠올리는 corner, edge 위주로 만든 synthetic dataset으로 학습을 시켜 일반 이미지에 적용할 수 있도록 확장하는 방법이다. 즉, synthetic simple dataset으로 학습시켜서 generalized keypoint detector를 만드는 논문이다. 흐름은 fully synthetic training으로 MagicPoi..

내 맘대로 Introduction 바로 나올 것 같았다. 3D gaussian의 dynamic scene버전이다. NeRF에서도 time 축을 추가해서 dynamic NeRF가 바로 한 흐름을 가져갔는데 이것도 같은 컨셉을 3D gaussian splatting에 추가한 논문이다. 아이디어의 novelty는 그저 그런 편인 것 같고, deformation field를 구현할 때 그냥 3D grid 쓰는 것이 아니라 TensoRF처럼 6개의 평면으로 구현해서 연산량을 줄였단 것 정도가 자체 contribution으로 보인다. deformation field를 Hexplane으로 표현하더라도 결국 특정 voxel 공간을 잡고 시작하는 것인데, 3D gaussian splatting 자체가 열린 공간에 대한 ..

내 맘대로 Introduction 이 논문은 keypoint-descriptor를 기반으로 한 SfM 파이프라인을 dense matching 네트워크 기반으로 변경한 논문이다. dense matching 논문이 matching 관점에서는 keypoint 뽑고 descriptor 갖고 matching하는 것의 성능을 넘어선지 오래지만 feature track을 형성하기 어렵다는 이유로 SfM 분야까지 넘어오진 못했다. 이 논문은 처음으로 dense matching으로 SfM을 돌려보고자 했다. dense matching은 일단 2장의 이미지를 pair로 받아야 돌아가는 네트워크다 보니까 A-B에서 matching된 결과와 B-C에서 matching된 결과를 보고 A-C matching 결과를 예측하기가 어..

내 맘대로 Introduction 이 논문은 DKM, RoMA 저자가 쓴 후속 논문인데, dense matching을 떠나 sparse matching으로 다시 돌아와 쓴 논문이다. 하지만 dense matching의 결과를 가져와서 학습에 supversion으로 사용할 수 있도록 설계했기 때문에 사실 상 dense matching distilled sparse matching으로 만들 수도 있다. superglue를 이기기 웬만해선 힘들 것이라고 생각했는데 간단함에도 단숨에 뛰어넘는 것을 보고 진짜 이 연구자는 실력이 미쳤구나 싶었다. 핵심 아이디어는 descriptor와 detector를 완전히 분리해서 학습시키는 것이다 어찌보면 PoSFeat과 결을 나란히 하는 논문이다. (posfeat 이슈에 보..

내 맘대로 Introduction 또 하나의 역대급 논문이 나온 것 같다. NeRF가 씹어먹고 있던 view synthesis 흐름에 새로운 컨셉이 등장했는데 NeRF를 압도하는 존재감을 바로 보인 논문이다. 2023년 SIGGRAPH에 등장한 논문인데 공개 2달 만에 6.6k star가 넘었다. (2023.10월 말 기준) NeRF는 공간 전체에 대해 색상과 불투명도를 예측하는 implicit function을 학습시키는 것이라면 이 논문은 다시 explicit으로 돌아간 논문이다. 비유하자면 복원할 공간에 (색상, 불투명도, 크기, 방향)을 가진 무수히 많은 쌀알들을 채워넣는 컨셉이다. 공간 자체에 구석구석 쌀알들로 채워놓으면 나중에 rendering을 하고자 할 때 쌀알들을 갖고 색상을 칠해버리면 ..

내 맘대로 Introduction 이 논문은 self-calibrating nerf, barf 와 같이 카메라 포즈도 같이 추정하는 nerf인데 내 기준 완성도가 가장 낮다. barf는 별 거 안해도 카메라 포즈 같이 최적화하는거 어느정도 된다 + 다만 positional encoding을 변화시켜주면 더 잘된다 중 후자는 그래도 의미가 있는데, 이 논문은 전자만 있다. 고로, contribution이 거의 없는 논문으로 보인다. 그냥 카메라 포즈랑 같이 최적화 해봤다 + 카메라 포즈가 얼마나 망가져 있어야 되고 안되고 그 정도를 분석해봤다 정도다. 보고서에 가까운 논문 메모하며 읽기 물체 바라보면서 하나의 카메라로 쭉 찍은 이미지들을 가정한다. intrinsic은 fx, fy 퉁쳐서 f 하나, cx, ..