CODERNER

내 맘대로 Introduction 제목에서도 심플함이 느껴지는데 point cloud registration을 잘하는 논문이다. 딥러닝을 쓰지도 않았고 복잡한 개념도 없이, 정합을 위해 집중해야하는 영역들을 잘 추려내는 것에 집중해서 성능을 끌어올렸다. 아이디어가 심플함에도 성능 향상이 커서 CVPR 2023 student best paper를 수상한 논문이다. 대단.. 핵심은 maximum clique (graph theory에서 나옴)로 추린 점들을 비교했었는데 maximal clique로 추린 점들을 비교한 것이다. 메모하며 읽기 일단 maximum과 maximal의 차이를 알아야한다. (나도 처음 알았다...) --- An element is a maximum if it is larger than..

내 맘대로 Introduction 이 논문은 NeRF를 이용하는 방법에 대한 논문이다. NeRF가 워낙 퀄리티 좋은 결과를 만들어낼 수 있다보니 생성된 이미지를 GT로 쓸 수 있는 어플리케이션을 떠올린 것 같다. 그 target task로 stereo depth를 정했다. 딥러닝으로 stereo depth estimation하는 알고리즘들이 항상 데이터 부족 문제를 겪고 그로 인한 domain gap 문제도 겪고 있는데 NeRF를 이용해 그 데이터 부족 문제를 풀어보고자 했다. NeRF에서 depth도 얻어낼 수 있는 것은 이미 밝혀진 사실이니 이미지와 depth 모두 얻을 수 있는 세팅이고, baseline을 맘대로 바꿀 수 있는 세팅이기 때문에 합리적이라고 보인다. 물론 NeRF를 scene 마다 학..

내 맘대로 Introduction TSDF fusion + neural rendering을 섞은 논문이다. depth 센싱이 가능한 상태에서 3D reconstruction을 하는 방법이 대표적으로 TSDF인데 pcd registration + depth averaging 방식이다 보니 되게 smoothing되는 단점이 있는데 이 문제를 neural rendering으로 풀고자 했다. 따라서 TSDF 컨셉을 따라가는 local level과 neural rendering을 따라가는 global level로 나누어 네트워크를 설계했다. 메모하며 읽기 전체는 depth feature를 TSDF 하듯이 시점 별로 fusion하는 local level fusion, neural rendering 컨셉으로 한 번더..

내 맘대로 Introduction 기존 3D surface recontruction 알고리즘이 SDF를 사용하기 때문에 내부, 외부 구분이 확실한 물체 복원에 특화된 형태였다. 실제 물체는 항상 watertight 형태가 아니라 내부, 외부 구분이 어려운 마스크나 옷, 뚫린 구조물 등이 많은데 이를 커버하는 것이 목적인 논문이다. SDF 를 그대로 사용하되 validty 확률을 평가하는 부분이 추가되어있고, SDF의 부호를 조정하는 부분이 추가되었다. SDF 부호를 조정하는 부분은 SDF to volume density 수식에 해당하는 부분인데 조정 시에 수식이 유지해야 할 unbiased weight나 occlusion-aware 성질을 그대로 보존하는 것이 핵심이다. 메모하며 읽기 컨셉은 그림과 같이..

내 맘대로 Introduction NeuS를 보완해서 High frequency 영역 성능을 끌어올리는 것을 목표로 하는 논문이다. 세가지 보완점을 말하는데 첫번째는 SDF to volume density 수식의 수정, 두번째는 low frequency와 high frequency의 분리 학습, 세번째는 SDF to transparency 조절을 위한 파라미터 추가이다. NeuS 핵심 수식을 가져와 사용만 하는 다른 논문들과 달리, 핵심 수식을 수정하는 것이 주요 내용이기 때문에 기본적으로 관심이 조금 간다. 참고로 두번째 보완점은 뜬금없이 등장한 것은 아니고 NeuS를 관찰해보니 low frequency는 잘 배우는데 high frequency는 못 배우는 경향이 있어 등장한 것이다. 메모하며 읽기 3..

내 맘대로 Introduction DKM (이전 글) 저자의 후속 연구로 나온 dense feature matching 네트워크다. 목적은 DKM와 같고 입력 출력의 형태도 같다. DKM 상위호환으로 보는 것이 맞을 것 같다. DKM이 GP regression을 사용해서 matching 성능을 끌어올린 것과 같이 RoMa도 다소 어려운 수학 개념을 녹여서 성능을 끌어올렸다. Diffusion 논문 때문에 그나마 조금 익숙한 Markov chain을 가져왔다. backbone을 DinoV2와 같이 어마어마한 것을 사용했기 때문에 성능이 뛰어오른 것인지 저자가 제안한 새로운 개념 때문에 뛰어오른 것인지 정확히 분간은 안가지만 성능을 DKM 대비 더 좋다. 속도는 당연히 느린데 측정해보니 대략 4배 정도 느린..

내 맘대로 Introduction 이 논문은 NeuS 대비 속도, 성능 두 마리 토끼를 잡아 앞지르겠다는 논문이다. 1) TensoRF와 같이 데이터 representation을 바꾸는 것과 2) 바뀐 representation에 맞도록 positional encoding을 바꾸는 것, 3) self.attention convolution을 추가하는 것을 메인으로 다룬다. 추측컨대, 1)을 해보았을 때 아래 그림과 같이 단순히는 실패한다고 해서 2) 3)을 추가한 듯 하다. 메모하며 읽기 글은 길지만 핵심은 짧다. 커버하는 공간을 bounding box로 normalize하고, bounding box를 3개의 평면의 곱으로 분할한다는 것이다. TensoRF에서 volume을 vector-matrix de..

내 맘대로 Introduction SDF를 UDF로 대체한 NeuS 논문이라고 보면 된다. SDF가 outside/inside 구분에 좋은 형태인 것은 맞지만 outside/inside 구분이 확신하려면 watertight 형태일 필요가 있다. 즉, 뚫린 부분이 있는 형상일 때 성능이 하락한다. 뚫린 부분이 있으면 안팎이 뒤집히는 ray가 있기 때문에 학습이 어려워지기 때문이다. UDF는 SDF에서 signed을 없애버림으로써 outside/inside 구분으로 인한 효과를 최소화할 수 있다고 한다. UDF는 2개의 문제가 있어 논문에서 이를 해결하는게 contribution이다. 첫번째로 occluse-aware가 아니라는 점이다. SDF처럼 음수 값이 없기 때문에 이게 어디에 부딪혀 통과했는지 아닌지..

내 맘대로 Introduction NeRF 컨셉의 3D surface reconstruction 알고리즘의 고질병인 학습, 추론 속도를 빠르게 하기 위해 depth 정보를 끌어오고, MLP 대신 grid representation을 사용한 논문이다. 기존 Depth fusion에 비교한다면 hole이 더 잘 차있고 noise가 적다는 장점이 있고, NeRF 대비는 속도의 이점이 있다고 할 수 있을 것 같다. naive한 알고리즘 대비 무려 60배 빠르다고 한다. 사실 내가 볼 때 속도 개선의 핵심은 grid_sampler의 2nd derivative 기능을 CUDA로 직접 구현한 점인 것 같다. 앞에는 뭐... 그냥 조합한 느낌인데 이 기능적 구현이 contribution이 너무 크다. 메모하며 읽기 s..

내 맘대로 Introduction 반사가 심한 물체 표면을 어떻게 복원할 것인가에 대한 논문이다. 반사가 일어날 경우, 기존 알고리즘에서 가정하는 volume rendering 수식을 안통하기 때문에 모델링 결과가 처참한데 반사광을 따로 다루어 복원 성능을 끌어올린 논문이다. 세팅이 복잡해서 직접 사용해볼 엄두는 나지 않는 논문이다. 이 논문 역시 NeuS를 baseline으로 잡고 있는데 NeuS 수식을 그대로 이용하되 color network를 단순히 MLP 붙이고 끝이 아니라 BRDF 수식을 이용해 추가적인 모델링을 한 MLP를 사용한다. 메모하며 읽기 2 stage로 구성되어 있는데, 대충 coarse to fine 컨셉이다. 첫번째 스테이지에서 SDF + BRDF를 잘 녹여서 거의 90% 만들어..