CODERNER

내 맘대로 Introduction Depth of field NeRF라는 이름을 보면 단번에 알 수 있듯이, 카메라로 취득한 이미지라면 초점이 반드시 존재하는데 이 초점을 고려해서 NeRF를 학습시키는 방법을 소개한다. 기존 NeRF에서는 이미지의 모든 픽셀이 초점이 맞는 상태를 가정하는데 이 상황은 피사체가 depth of field 내에 들어와있다는 가정이다. 하지만 근거리부터 장거리가 모두 포함된 scene이나 피사체를 찍을 경우 depth of field를 벗어난 경우가 반드시 생기고 이 경우 성능 하락이 발생한다. 이 논문에서는 depth of field를 계산하고 이를 volume rendering 과정에 포함시켜서 이 문제를 해결한다. 화려한 논문은 아니어도 문제 정의가 좋고 방법론도 복잡하..

내 맘대로 Introduction 3DDFA 처럼 얼굴 이미지 한 장 들어왔을 때 해당 얼굴에 대응되는 3DMM 파라미터와 R|t를 뱉어주는 네트워크다. 차이점은 학습할 때 multiview constraint를 써서 성능을 높였다는 점이다. 개인적으로 이런 multiview consistency를 사용하는 논문들이 깔끔한 것 같아서 맘에 든다. 하나 아쉬운 것은 이를 위해선 카메라 포즈가 사전에 계산되어 있는 얼굴 데이터가 있어야 하니 데이터 수집 측면에서 단점이 있는 논문이라고 할 수 있겠다. 메모하며 읽기 학습 시에만 multiview image를 사용하고, inference 시에는 singleview image 이미지를 쓰는 네트워크다. 입력은 이미지, 출력은 3DMM 파라미터인데, 이를 mult..

내 맘대로 Introduction DreamFusion이랑 똑같이 text-to-3D를 목적으로 하는데 DreamFusion이 realistic하지 않은 결과를 만들어내는 문제를 개선한 법전이다. DreamFusion의 아쉬운 퀄리티 문제는 volume rendering 대상 공간을 스크래치부터 학습시킬 때 diffusion model에만 의존해서 학습시키기 때문에 대상 공간의 color, volume density 학습이 잘 되지 않기 때문이라고 한다. generation model 연구들을 보면 복원을 하고자 할 때 image space에서 직접 복원하는 것보다 latent space에서 복원하고 latent to image decoder를 붙이는 식으로 하는 것이 더 효과적이라는 이야기가 많은데, ..

내 맘대로 Introduction 이 논문도 반사 재질의 물체를 커버하는 것에 집중한 3D surface reconstruction 논문이다. 기존 다른 논문들이 BRDF modeling을 통해서 specular와 diffuse를 추가로 추정하도록 하는 방식은 큰 틀에서 따르지만 실제 학습 때 BRDF 수식을 사용하진 않는다. 각종 approximation을 통한 specular, diffuse 관계 유도가 단점이라고 지적하면서 specular와 diffuse 관계를 네트워크가 자체적으로 학습하도록 유도하는게 핵심이다. 메모하며 읽기 큰 틀에서 여전히 3D surface reconstruction이기 때문에 SDF를 이용하는데 수식은 VolSDF의 수식을 이용한다. BRDF 모델도 큰 틀에서는 따르기 때..

내 맘대로 Introduction 이 논문은 single image to 3D 논문 (EG3D 같은 논문)을 확장하여 text to 3D까지 나아가는 논문이다. 기존 single image to 3D가 D GAN을 썼던 부분을 diffusion+NeRF로 대체함과 동시에 single image 조차 text에서 만들어내는 방식이다. 요즘 핫하다는 것은 다 갖다붙여본 논문이다. 핵심은 ImageGen이라는 text to single image diffusion model을 고정해두고 NeRF MLP가 만들어낸 이미지가 diffusion model 결과와 갖도록 NeRF MLP를 학습해주는 것이다. NeRF의 입력 이미지를 diffusion model로 만들어낸 것을 사용한다는 컨셉이다. 그러므로 text가..

내 맘대로 Introduction KeypointNeRF는 기존 NeRF에서 positional encoding을 global이 아닌 local하게 변경한 논문이다. 간단히 말해 anchor처럼 사용할 수 있는 3D point가 존재한다면 해당 point들 대비 상대적을 displacement를 positional encoding하는 식으로 사용하는 방법이다. 3D anchor point가 되는 point들은 어디서든 찾을 수 있지만 human keypoint에 대한 연구가 워낙 활발하다보니 사람으로 테스트한 것 같다. 방법론 자체는 3D point가 주어졌을 때 항상 사용할 수 있는 방식이다. 메모하며 읽기 전체 파이프라인은 1) 3D keypoint 얻기, 2) image feature 얻기 (pix..

내 맘대로 Introduction 한 줄 요약하자면 아무것도 없고 비디오만 (혹은 연속된 이미지만) 잔뜩 있을 경우, NeRF를 어떻게 적용할 것인지 고민한 논문이다. SfM 돌리고 뭐 이럴 수 있지만 end-to-end로 딥러닝을 이용해서만 어떻게 할 수 있는지 방법을 소개한다. intrinsic parameters, camera poses, neural volume 3개를 전부 다 추정해서 사용하며, generalization이 되도록 하는 것도 목표다. 사실 상 그냥 다 때려넣었다. 그래서 optical flow, pixelNeRF, FoV 등 각종 네트워크가 덕지덕지 붙어있어서 조금 지저분하다. 개인적으로는 intrinsic parameter를 구하는 것을 추가한 것은 살짝 오버인 것 같고 카메라..

내 맘대로 Introduction 이 논문은 NeRF를 이용하는 방법에 대한 논문이다. NeRF가 워낙 퀄리티 좋은 결과를 만들어낼 수 있다보니 생성된 이미지를 GT로 쓸 수 있는 어플리케이션을 떠올린 것 같다. 그 target task로 stereo depth를 정했다. 딥러닝으로 stereo depth estimation하는 알고리즘들이 항상 데이터 부족 문제를 겪고 그로 인한 domain gap 문제도 겪고 있는데 NeRF를 이용해 그 데이터 부족 문제를 풀어보고자 했다. NeRF에서 depth도 얻어낼 수 있는 것은 이미 밝혀진 사실이니 이미지와 depth 모두 얻을 수 있는 세팅이고, baseline을 맘대로 바꿀 수 있는 세팅이기 때문에 합리적이라고 보인다. 물론 NeRF를 scene 마다 학..

내 맘대로 Introduction TSDF fusion + neural rendering을 섞은 논문이다. depth 센싱이 가능한 상태에서 3D reconstruction을 하는 방법이 대표적으로 TSDF인데 pcd registration + depth averaging 방식이다 보니 되게 smoothing되는 단점이 있는데 이 문제를 neural rendering으로 풀고자 했다. 따라서 TSDF 컨셉을 따라가는 local level과 neural rendering을 따라가는 global level로 나누어 네트워크를 설계했다. 메모하며 읽기 전체는 depth feature를 TSDF 하듯이 시점 별로 fusion하는 local level fusion, neural rendering 컨셉으로 한 번더..

내 맘대로 Introduction NeRF 류 알고리즘의 핵심이 multiview의 힘을 쓴다는 것인데 당연하게도 multiview constraints가 강할수록 학습이 잘 될 것이다. 두 가지 방법으로 multiview constraint를 알고리즘에게 강화해줄 수 있을텐데 첫번째는 카메라 포즈를 더 정확히 주는 것 두번째는 학습할 때 multiview 관련 support를 제공해주는 것이다. 이 논문은 후자를 시도해보았다. 개인적으로 틀린 말 하나없고 성능도 좋았다고 하니 다 납득했는데 그저 그랬다. 특별할 것까진 없어서 contribution이 무엇인지 뚜렷하게 보이지 않고 학습 시간 측면에서 trade-off가 있을 것 같아서 전체 이득인지는 모르겠다. 메모하며 읽기 (Sec 3.1 backgr..