CODERNER

내 맘대로 Introduction 일반 NeRF로 왼쪽 그림처럼 반투명, 투명, 반사 재질의 물체를 다루면 성능이 떨어진다. NeRF는 사실 상 Lambertian surface 물체에서 확실하게 동작하는 편이고 non-Lambertian surface 물체에서는 딥러닝의 힘으로 그럭저럭 될 뿐이다. 이 논문에서는 4D light field 개념을 추가해서 non-Lambertian effect를 다룰 수 있도록 해서 반투명, 투명, 반사 재질 물체를 기존 NeRF보다 우수하게 다루는 것을 목적으로 한다. 기존 NeRF도 이미지를 무지막지하게 많이 쓰면 어느정도 커버할 수 있기에 이미지 사용을 최소화하면서 학습하는 방법도 제안하는데 epipolar contraint를 사용한다. geometric cont..

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections 내 맘대로 Introduction Photo Tourism이 등장했을 당시 그 임팩트가 굉장히 강했는데 그 후광을 조금 이용한 느낌이 든다. in the wild라는 단어를 집어넣은 것으로부터 알 수 있듯이 각잡고 static scene에 대해서 카메라로 찍는 세팅이 아니라, 다른 카메라, 다른 위치, 다른 빛, 다른 시간에서 촬영된 이미지를 조합해서 고정된 한 대상을 복원해내는 것을 목표로 하는 논문이다. 빛, 장애물, 색감 차이 등이 존재하는 환경에서 NeRF를 어떻게 학습시킬지 소개한다. 핵심 아이디어는 빛, 장애물, 색감 차이를 내포하는 latent code를 ..

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields 내 맘대로 Introduction 이 논문은 사진만 보아도 알 수 있듯이 Nerfies의 저자가 후속 연구로 진행한 것인데, NeRF를 확장하여 deformable NeRF를 (Nerfies 보다) 더 잘 만드는 논문이다. 단순히 물체의 이동이나 자세 변화 정도를 커버하는 것이 아니라 topology가 변화하는 수준까지 커버하는 것을 목표로 했으며 논문에서 대표적 예시로 극심한 얼굴 표정 변화를 사용하여 그 결과를 보여준다. 일단 project page의 데모 영상들만 보아도 압도적인 퀄리티를 자랑하는 것을 볼 수 있는데 성능 하나는 ..

Nerfies: Deformable Neural Radiance Fields 내 맘대로 Introduction2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 2023.04.07 - [Reading/Paper] - [NeRF] D-NeRF: Neural Radiance Fields for Dynamic Scenes 2023.04.08 - [Reading/Paper] - [Human] Animatable Neural Radiance Fields for Modeling Dynamic Hum..

D-NeRF: Neural Radiance Fields for Dynamic Scenes 내 맘대로 Introduction 이 논문도 NeRF를 움직이는 대상으로 확대하는 방법에 대한 논문이다. 이전에 읽었던 2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 논문과 목적이 같은 논문이고 사실 상 아이디어도 같다. 같은 해 같은 학회에 제출된 논문들이기 때문에 서로에 대해 몰랐고 선점권 또한 없어서 같은 방법 두 개의 논문이 생긴 것 같다. 개인적으로 이 논문이 더 깔끔하게 작성한 것 같..

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 내 맘대로 Introduction NeRF는 나온지 2년 밖에 되지 않았지만 이제 비전 공부했다는 사람 중에 모르는 사람없을 정도로 유명해졌다. 오히려 모르면 안된다는 소리가 나올 정도로 엄청난 논문이고 개인적으로 GAN이 처음 등장했을 때보다 훨씬 큰 충격을 가한 논문이라고 생각한다. 내가 말하는 NeRF는 간단히 말하면 "어떤 대상의 여러 2D 이미지만 갖고 그 대상의 무한한 2D 이미지를 얻는 기술"이다. 정확히는 어떤 대상을 특정 각도로 촬영한 이미지로 네트워크를 하나 학습 시켜서 임의의 각도에서 촬영한 이미지를 생성해내는 기술이다. NeRF가 대단한 이유는 기존에 이러한..