CODERNER

내 맘대로 Introduction 한 줄 요약하자면 아무것도 없고 비디오만 (혹은 연속된 이미지만) 잔뜩 있을 경우, NeRF를 어떻게 적용할 것인지 고민한 논문이다. SfM 돌리고 뭐 이럴 수 있지만 end-to-end로 딥러닝을 이용해서만 어떻게 할 수 있는지 방법을 소개한다. intrinsic parameters, camera poses, neural volume 3개를 전부 다 추정해서 사용하며, generalization이 되도록 하는 것도 목표다. 사실 상 그냥 다 때려넣었다. 그래서 optical flow, pixelNeRF, FoV 등 각종 네트워크가 덕지덕지 붙어있어서 조금 지저분하다. 개인적으로는 intrinsic parameter를 구하는 것을 추가한 것은 살짝 오버인 것 같고 카메라..

내 맘대로 Introduction 이 논문은 NeRF를 이용하는 방법에 대한 논문이다. NeRF가 워낙 퀄리티 좋은 결과를 만들어낼 수 있다보니 생성된 이미지를 GT로 쓸 수 있는 어플리케이션을 떠올린 것 같다. 그 target task로 stereo depth를 정했다. 딥러닝으로 stereo depth estimation하는 알고리즘들이 항상 데이터 부족 문제를 겪고 그로 인한 domain gap 문제도 겪고 있는데 NeRF를 이용해 그 데이터 부족 문제를 풀어보고자 했다. NeRF에서 depth도 얻어낼 수 있는 것은 이미 밝혀진 사실이니 이미지와 depth 모두 얻을 수 있는 세팅이고, baseline을 맘대로 바꿀 수 있는 세팅이기 때문에 합리적이라고 보인다. 물론 NeRF를 scene 마다 학..

내 맘대로 Introduction TSDF fusion + neural rendering을 섞은 논문이다. depth 센싱이 가능한 상태에서 3D reconstruction을 하는 방법이 대표적으로 TSDF인데 pcd registration + depth averaging 방식이다 보니 되게 smoothing되는 단점이 있는데 이 문제를 neural rendering으로 풀고자 했다. 따라서 TSDF 컨셉을 따라가는 local level과 neural rendering을 따라가는 global level로 나누어 네트워크를 설계했다. 메모하며 읽기 전체는 depth feature를 TSDF 하듯이 시점 별로 fusion하는 local level fusion, neural rendering 컨셉으로 한 번더..

내 맘대로 Introduction NeRF 류 알고리즘의 핵심이 multiview의 힘을 쓴다는 것인데 당연하게도 multiview constraints가 강할수록 학습이 잘 될 것이다. 두 가지 방법으로 multiview constraint를 알고리즘에게 강화해줄 수 있을텐데 첫번째는 카메라 포즈를 더 정확히 주는 것 두번째는 학습할 때 multiview 관련 support를 제공해주는 것이다. 이 논문은 후자를 시도해보았다. 개인적으로 틀린 말 하나없고 성능도 좋았다고 하니 다 납득했는데 그저 그랬다. 특별할 것까진 없어서 contribution이 무엇인지 뚜렷하게 보이지 않고 학습 시간 측면에서 trade-off가 있을 것 같아서 전체 이득인지는 모르겠다. 메모하며 읽기 (Sec 3.1 backgr..

내 맘대로 Introduction 얼굴 한정 VolSDF 류 논문인데 3DMM을 동시에 활용함으로써 성능 향상과 필요 이미지 감소, 속도를 개선한 논문이다. SMPL 기반 clothed human modeling에서 자주 쓰이는 기법의 얼굴 버전이라는 생각이 든다. 3DMM 초기화를 이용해 coarse 복원 이후 model coverage를 벗어난 디테일을 보충하는 fine 복원 과정으로 구성되어 있다. 메모하며 읽기 Neural rendering 쓸 것이며 corase to fine 컨셉이다. notation을 초반에 이렇게 던지고 시작하는데 깔끔하긴 하나 눈에 들어오진 않는 것 같다. 논문 쓸 때 이렇게 쓰지 말아야지. coarse 에 해당하는 부분인데 갖고 있는 모든 사람 얼굴 데이터를 다 써서 미..

내 맘대로 Introduction 3DMM을 이미지에 fitting 시키는 논문 중 현재 SOTA라고 불리는 논문이다. body로 치면 HMR 류 논문의 SOTA이다. 성능을 높이는 것에만 집중하지 않고 cpu에서도 빠르게 도는 것을 목표로 했기 때문에 구조도 단순하고 네트워크도 그리 무겁지 않다. face pose가 필요한 논문들 (특히, NeRF 류) 에서 preprocessing으로 잘 쓰고 있는 논문이므로 성능은 실험적으로도 충분히 검증된 것 같다. 메모하며 읽기 입력 이미지를 받고 MobileNet으로 feature extraction 후, 각각 keypoint 찾고 3DMM parameter찾는 모듈 입력으로 넣어주는게 전부다. 사실 엄청 간단한데 핵심은 keypoint 모듈은 학습 단계에만 ..

내 맘대로 Introduction NeRF의 color network를 단순히 color, c 값 맞추는 형태가 아니라 reflectance * shading + residual 형태로 분리하여 추정함으로써 추후에 reflectance만 바꾼다거나, shading만 바꾸는 식으로 변형 가능한 형태로 만드는 것이 목적이다.color를 단순화하는 과정에서 여러 가정들이 필요하고 이를 반영하기 위한 loss term들이 추가됨에 따라 loss가 꽤나 많이 추가된 NeRF이다. 개인적인 평으로는, 논문이 조금 난잡한 느낌이 있다. Introduction에서 논문의 모든 내용을 다 적으려고 하다보니 Intro 읽을 때도 논문을 앞뒤로 뒤적거리면서 읽어야 하고, method에서 referencing하는 첫 figu..

내 맘대로 Introduction EG3D의 확장판 논문으로 360 머리를 대상으로 한다. 역시나 multiview contraint가 맞아떨어지는 3D GAN을 목표로 한다. keypoint를 활용하기 좋은 frontal head 이미지는 상대적으로 자세 계산이든 feature extraction이든 쉬운데, 뒤통수는 어렵다. 따라서 뒤통수를 커버하는 방법이 또 다른 핵심이라고도 할 수 있는 논문이다. 메모하며 읽기 전체 파이프라인은 EG3D을 따왔고 내부에 디테일을 교체했다는 점이 차이점이다. 사실 상 EG3D++이다. 차이점은 다음과 같다. 1) foreground -background 분리에 힘써서 머리만 따낼 수 있도록 한 것 (360으로 채우고) 2) tri-plane을 더 잘게 쪼개서 tri..

내 맘대로 Introduction 간단히 말해 3D GAN인데 multiview contraint가 맞아떨어지도록 이미지와 geometry를 생성해주는 3D GAN이라고 보면 된다. 단순히 2D GAN에서 쓰는 방식대로 3D GAN으로 확장했을 경우, 결과의 퀄리티를 떠나서 multiview contraint는 유지되지 않고 각각 독립적으로 생성되는 모양이다. 하지만 이 논문에서는 feature generation -> neural rendering 구조로 voxel grid를 이용하는 neural rendering의 기법을 가져와서 multiview contraint를 유지한 채로 generation을 할 수 있도록 설계했다. 위 이미지를 보면 직관적으로 이해가 될텐데 single image에서 생성한..

내 맘대로 Introduction 기존 3D surface recontruction 알고리즘이 SDF를 사용하기 때문에 내부, 외부 구분이 확실한 물체 복원에 특화된 형태였다. 실제 물체는 항상 watertight 형태가 아니라 내부, 외부 구분이 어려운 마스크나 옷, 뚫린 구조물 등이 많은데 이를 커버하는 것이 목적인 논문이다. SDF 를 그대로 사용하되 validty 확률을 평가하는 부분이 추가되어있고, SDF의 부호를 조정하는 부분이 추가되었다. SDF 부호를 조정하는 부분은 SDF to volume density 수식에 해당하는 부분인데 조정 시에 수식이 유지해야 할 unbiased weight나 occlusion-aware 성질을 그대로 보존하는 것이 핵심이다. 메모하며 읽기 컨셉은 그림과 같이..