CODERNER

내 맘대로 Introduction 기존 3D surface recontruction 알고리즘이 SDF를 사용하기 때문에 내부, 외부 구분이 확실한 물체 복원에 특화된 형태였다. 실제 물체는 항상 watertight 형태가 아니라 내부, 외부 구분이 어려운 마스크나 옷, 뚫린 구조물 등이 많은데 이를 커버하는 것이 목적인 논문이다. SDF 를 그대로 사용하되 validty 확률을 평가하는 부분이 추가되어있고, SDF의 부호를 조정하는 부분이 추가되었다. SDF 부호를 조정하는 부분은 SDF to volume density 수식에 해당하는 부분인데 조정 시에 수식이 유지해야 할 unbiased weight나 occlusion-aware 성질을 그대로 보존하는 것이 핵심이다. 메모하며 읽기 컨셉은 그림과 같이..

내 맘대로 Introduction 제목만 보고 NeuralWarp 처럼 patch 단위로 color loss를 매기는 논문인 줄 알았는데 조금 느낌이 다르다. NeRF 류 중에 generalization을 목적으로 하는 논문들은 대부분 deep feature에 의존한다. 이미지에서 feature를 추출하고 feature에서 시작하는 NeRF다. 하지만 이 논문은 generalization의 관점을 바꾸어서, 네트워크에게 실제 이미지를 어떻게 조합해서 NeRF를 학습해야 하는지 그 방법을 알려주어 해결하려고 한다. feature에 모든게 담기길 원하는 것이 아니라 실제 입력 이미지에서 patch를 떼어온 다음 patch를 사용하는 방법을 네트워크에게 학습시킨다. 이러한 컨셉으로 학습이 되면 네트워크는 방법..

읽게 된 계기 밀리의 서재에서 이제 상위 랭크된 책을 읽을만큼 읽었는지 책을 찾는게 어려웠다. 오디오북을 한참 내리던 중 김이나라는 워낙 이름이 보여서 눌렀다. 원래 에세이는 그냥 끄적이는 글과 같아서 안 읽곤 했는데 요즘은 사람마다 진지하게 고민은 했으나 남들에게 말하긴 애매한, 말해봤자 공감 못하는 이야기들을 털어놓는게 에세이 아닐까 하는 생각이 들어 조금 관심이 생겼다. 길이도 짧은데다가 작사가가 쓴 글이니 읽기 편하리라 생각하고 읽었다. 짧은 평 에세이인데 무슨 평을 할 수 있을까. 그냥 그렇구나, 그렇게 느꼈구나 하며 읽는 책이었다. 제목에서 살짝 예상했듯이 일상에서 쓰는 단어를 하나하나를 곱씹고 집중해서 바라보면서 저자가 느꼈던 생각과 감성을 적기도 하고, 그에 연관되어 떠오르는 자신의 경험과..

내 맘대로 Introduction Free라고 해서 뭐가 Free인가 했더니 Frequency의 Fre-e 였다. 요점은 frequency range를 제한하고 카메라에 가까운 위치, 즉, 카메라 코 앞 영역에서 density 값을 높게 추정하지 않도록 패널티를 주는 것이다. 결과적으로 학습 효율성이 엄청나게 증대되기 때문에 적은 이미지로도 학습이 가능한 NeRF가 된다고 한다. 또, 힘주어 강조하는 점은 구현 상으로 한 줄 추가하는 것 뿐이라는 사실이다. 메모하며 읽기 (preliminaries 는 NeRF 수식 설명이므로 생략) NeRF를 적은 수의 이미지로 학습시켜보면 overfitting이 쉽게 되어 실패하는 경우가 많은데, 그 원인을 찾아보면 high frequency encoding값들이었다...

내 맘대로 Introduction NeuS를 보완해서 High frequency 영역 성능을 끌어올리는 것을 목표로 하는 논문이다. 세가지 보완점을 말하는데 첫번째는 SDF to volume density 수식의 수정, 두번째는 low frequency와 high frequency의 분리 학습, 세번째는 SDF to transparency 조절을 위한 파라미터 추가이다. NeuS 핵심 수식을 가져와 사용만 하는 다른 논문들과 달리, 핵심 수식을 수정하는 것이 주요 내용이기 때문에 기본적으로 관심이 조금 간다. 참고로 두번째 보완점은 뜬금없이 등장한 것은 아니고 NeuS를 관찰해보니 low frequency는 잘 배우는데 high frequency는 못 배우는 경향이 있어 등장한 것이다. 메모하며 읽기 3..

읽게 된 계기 세이노가 추천한 도서 중 하나였다. 세이노의 추천 도서다보니 꽤 오래 전 출간된 책일 줄 알았는데 코로나 시기에 출간된 책이라 놀랐다. 제목과 강렬한 색 조합의 표지로 확실히 눈에 띄는 책이었는데 번아웃에 대해 설명한다고 해서 많은 책 중 먼저 읽기로 했다. 요즘 열심히 산다고 사는데 답답하고 무기력하고 공부할 게 있음을 알면서도 게임이나 키는 생활이 며칠 반복되면서 스스로 번아웃이 온게 아닌가 고민한 적이 있다. 어떻게 벗어나는가, 어떻게 정신 승리할 수 있는가가 궁금해서 안 읽을 수가 없었다. 해결책이 무엇일까. 짧은 평 번아웃, 번아웃하지만 번아웃을 제대로 고민하고 생각해본 적 있는가. 이 책에선 번아웃에 대한 여러 이야기를 해준다. 읽으면서 이 책에 담겨있는 내용으로 하여금 많은 위..

읽게 된 계기 이전에 읽었던 돈은, 너로부터다 라는 책 때문에 찾아보았다. 이전 책의 에필로그에서 제갈현열이라는 사람이 여러 사람들과 책을 같이 쓰는 작가라는 사실을 알게 되었고 또 다른 사람과 쓴 책에 관심이 생겼기 때문이다. 같이 책을 쓴 저자가 나도 어렴풋이 이름을 알고 있는 두물머리의 CEO라는 사실에 더 혹했다. 제갈현열이라는 사람의 손을 거쳐나온 책일 뿐 사실 상 내용은 전혀 다른 사람이 쓴 책이지만 왠지 이전 책과 같은 좋은 기대감을 갖게 하는 책이었다. 짧은 평 기대감이 컸던 건지 아니면 책의 형식이 이전과 같은 스토리 형식이 아니어서 인지 조금 집중은 덜 됐다. 그래도 전반적으로 읽기 편한 책이다. 지루함 없이 술술 읽을 수 있는 책이고 전하는 메세지도 명료해서 읽고 난 뒤 머리 속에 적..

내 맘대로 Introduction 이 논문은 한마디로 Instant NGP의 SDF 버전 논문이다. Instant NGP는 view synthesis용으로 NeRF 첫 논문의 초 가속화 버전 논문이었는데 이를 3D reconstruction에 특화된 NeRF로 확장하는 논문이다. 핵심적인 내용은 hash encoding 기법을 2nd order derivate 계산에 적용한 것이다. 모든 3D surface reconstruction NeRF들이 속도 문제로 고생할 때 벽처럼 다가오는 것이 2nd order derivate 계산이 기능적으로 지원되지 않았던 점이다. surface reconstruction에 코어인 normal과 eikonal loss를 사용할 수 없기 때문이다. hash encoding..

제목 그대로 로컬에 갖고 있는 docker 이미지를 이름 변경하여 private server에 올리는 과정을 적는다. Docker 이미지 이름, 태그 이름 바꾸기 docker tag [원래 이미지 이름]:[원래 태그 이름] [새로운 이미지 이름]:[새로운 태그 이름] 명령어는 간단하다. 위 명령어를 사용하면 로컬에 이미 만들어둔 이미지의 이름만 새로 생긴다. 실제로 docker images를 통해 리스트를 띄워보면, 새롭게 생성된 이미지의 ID가 이전과 같은 것을 볼 수 있다. 내용물 전체를 똑같이 복사한다기 보다 이름만 새로 만들고 주소를 공유하는 식 같다. Docker private server 로그인 docker login -u [USER ID] -p [PASSWORD] [SERVER URL OR ..

내 맘대로 Introduction 얼굴 한정으로 3D surface reconstruction을 할 것인데 사람 얼굴이다보니 디테일과 텍스처가 다른 대상보다 특히나 중요하다. 따라서 더 현실감있는 얼굴을 복원하기 위해서 PBR(physically based rendering), BRDF를 잘 녺여보겠다는 논문이다. 메모하며 읽기 사전 배경지식으로, 빛 하나 하나를 보았을 때 BRDF로 모델링한다. 입사하는 빛의 각도에 따라 incident radiance, Li()를 계산해주어야 하는데 이건 수식(2)와 같이 Spherical harmonics + learnable coefficient 조합으로 표현된다고 정의해서 사용한다. BRDF, f 자체는 diffuse와 glossy reflection으로 정의했..