CODERNER

내 맘대로 Introduction Free라고 해서 뭐가 Free인가 했더니 Frequency의 Fre-e 였다. 요점은 frequency range를 제한하고 카메라에 가까운 위치, 즉, 카메라 코 앞 영역에서 density 값을 높게 추정하지 않도록 패널티를 주는 것이다. 결과적으로 학습 효율성이 엄청나게 증대되기 때문에 적은 이미지로도 학습이 가능한 NeRF가 된다고 한다. 또, 힘주어 강조하는 점은 구현 상으로 한 줄 추가하는 것 뿐이라는 사실이다. 메모하며 읽기 (preliminaries 는 NeRF 수식 설명이므로 생략) NeRF를 적은 수의 이미지로 학습시켜보면 overfitting이 쉽게 되어 실패하는 경우가 많은데, 그 원인을 찾아보면 high frequency encoding값들이었다...

내 맘대로 Introduction NeuS를 보완해서 High frequency 영역 성능을 끌어올리는 것을 목표로 하는 논문이다. 세가지 보완점을 말하는데 첫번째는 SDF to volume density 수식의 수정, 두번째는 low frequency와 high frequency의 분리 학습, 세번째는 SDF to transparency 조절을 위한 파라미터 추가이다. NeuS 핵심 수식을 가져와 사용만 하는 다른 논문들과 달리, 핵심 수식을 수정하는 것이 주요 내용이기 때문에 기본적으로 관심이 조금 간다. 참고로 두번째 보완점은 뜬금없이 등장한 것은 아니고 NeuS를 관찰해보니 low frequency는 잘 배우는데 high frequency는 못 배우는 경향이 있어 등장한 것이다. 메모하며 읽기 3..

내 맘대로 Introduction 이 논문은 한마디로 Instant NGP의 SDF 버전 논문이다. Instant NGP는 view synthesis용으로 NeRF 첫 논문의 초 가속화 버전 논문이었는데 이를 3D reconstruction에 특화된 NeRF로 확장하는 논문이다. 핵심적인 내용은 hash encoding 기법을 2nd order derivate 계산에 적용한 것이다. 모든 3D surface reconstruction NeRF들이 속도 문제로 고생할 때 벽처럼 다가오는 것이 2nd order derivate 계산이 기능적으로 지원되지 않았던 점이다. surface reconstruction에 코어인 normal과 eikonal loss를 사용할 수 없기 때문이다. hash encoding..

내 맘대로 Introduction 얼굴 한정으로 3D surface reconstruction을 할 것인데 사람 얼굴이다보니 디테일과 텍스처가 다른 대상보다 특히나 중요하다. 따라서 더 현실감있는 얼굴을 복원하기 위해서 PBR(physically based rendering), BRDF를 잘 녺여보겠다는 논문이다. 메모하며 읽기 사전 배경지식으로, 빛 하나 하나를 보았을 때 BRDF로 모델링한다. 입사하는 빛의 각도에 따라 incident radiance, Li()를 계산해주어야 하는데 이건 수식(2)와 같이 Spherical harmonics + learnable coefficient 조합으로 표현된다고 정의해서 사용한다. BRDF, f 자체는 diffuse와 glossy reflection으로 정의했..

내 맘대로 Introduction 일반 NeRF로 왼쪽 그림처럼 반투명, 투명, 반사 재질의 물체를 다루면 성능이 떨어진다. NeRF는 사실 상 Lambertian surface 물체에서 확실하게 동작하는 편이고 non-Lambertian surface 물체에서는 딥러닝의 힘으로 그럭저럭 될 뿐이다. 이 논문에서는 4D light field 개념을 추가해서 non-Lambertian effect를 다룰 수 있도록 해서 반투명, 투명, 반사 재질 물체를 기존 NeRF보다 우수하게 다루는 것을 목적으로 한다. 기존 NeRF도 이미지를 무지막지하게 많이 쓰면 어느정도 커버할 수 있기에 이미지 사용을 최소화하면서 학습하는 방법도 제안하는데 epipolar contraint를 사용한다. geometric cont..

내 맘대로 IntroductionDKM (이전 글) 저자의 후속 연구로 나온 dense feature matching 네트워크다. 목적은 DKM와 같고 입력 출력의 형태도 같다. DKM 상위호환으로 보는 것이 맞을 것 같다. DKM이 GP regression을 사용해서 matching 성능을 끌어올린 것과 같이 RoMa도 다소 어려운 수학 개념을 녹여서 성능을 끌어올렸다. Diffusion 논문 때문에 그나마 조금 익숙한 Markov chain을 가져왔다. backbone을 DinoV2와 같이 어마어마한 것을 사용했기 때문에 성능이 뛰어오른 것인지 저자가 제안한 새로운 개념 때문에 뛰어오른 것인지 정확히 분간은 안가지만 성능을 DKM 대비 더 좋다. 속도는 당연히 느린데 측정해보니 대략 4배 정도 느린 ..

내 맘대로 Introduction 이 논문은 NeuS 대비 속도, 성능 두 마리 토끼를 잡아 앞지르겠다는 논문이다. 1) TensoRF와 같이 데이터 representation을 바꾸는 것과 2) 바뀐 representation에 맞도록 positional encoding을 바꾸는 것, 3) self.attention convolution을 추가하는 것을 메인으로 다룬다. 추측컨대, 1)을 해보았을 때 아래 그림과 같이 단순히는 실패한다고 해서 2) 3)을 추가한 듯 하다. 메모하며 읽기 글은 길지만 핵심은 짧다. 커버하는 공간을 bounding box로 normalize하고, bounding box를 3개의 평면의 곱으로 분할한다는 것이다. TensoRF에서 volume을 vector-matrix de..

내 맘대로 Introduction SDF를 UDF로 대체한 NeuS 논문이라고 보면 된다. SDF가 outside/inside 구분에 좋은 형태인 것은 맞지만 outside/inside 구분이 확신하려면 watertight 형태일 필요가 있다. 즉, 뚫린 부분이 있는 형상일 때 성능이 하락한다. 뚫린 부분이 있으면 안팎이 뒤집히는 ray가 있기 때문에 학습이 어려워지기 때문이다. UDF는 SDF에서 signed을 없애버림으로써 outside/inside 구분으로 인한 효과를 최소화할 수 있다고 한다. UDF는 2개의 문제가 있어 논문에서 이를 해결하는게 contribution이다. 첫번째로 occluse-aware가 아니라는 점이다. SDF처럼 음수 값이 없기 때문에 이게 어디에 부딪혀 통과했는지 아닌지..

내 맘대로 Introduction NeRF 컨셉의 3D surface reconstruction 알고리즘의 고질병인 학습, 추론 속도를 빠르게 하기 위해 depth 정보를 끌어오고, MLP 대신 grid representation을 사용한 논문이다. 기존 Depth fusion에 비교한다면 hole이 더 잘 차있고 noise가 적다는 장점이 있고, NeRF 대비는 속도의 이점이 있다고 할 수 있을 것 같다. naive한 알고리즘 대비 무려 60배 빠르다고 한다. 사실 내가 볼 때 속도 개선의 핵심은 grid_sampler의 2nd derivative 기능을 CUDA로 직접 구현한 점인 것 같다. 앞에는 뭐... 그냥 조합한 느낌인데 이 기능적 구현이 contribution이 너무 크다. 메모하며 읽기 s..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..