CODERNER

내 맘대로 Introduction 이 논문은 single image to 3D 논문 (EG3D 같은 논문)을 확장하여 text to 3D까지 나아가는 논문이다. 기존 single image to 3D가 D GAN을 썼던 부분을 diffusion+NeRF로 대체함과 동시에 single image 조차 text에서 만들어내는 방식이다. 요즘 핫하다는 것은 다 갖다붙여본 논문이다. 핵심은 ImageGen이라는 text to single image diffusion model을 고정해두고 NeRF MLP가 만들어낸 이미지가 diffusion model 결과와 갖도록 NeRF MLP를 학습해주는 것이다. NeRF의 입력 이미지를 diffusion model로 만들어낸 것을 사용한다는 컨셉이다. 그러므로 text가..

내 맘대로 Introduction EG3D의 확장판 논문으로 360 머리를 대상으로 한다. 역시나 multiview contraint가 맞아떨어지는 3D GAN을 목표로 한다. keypoint를 활용하기 좋은 frontal head 이미지는 상대적으로 자세 계산이든 feature extraction이든 쉬운데, 뒤통수는 어렵다. 따라서 뒤통수를 커버하는 방법이 또 다른 핵심이라고도 할 수 있는 논문이다. 메모하며 읽기 전체 파이프라인은 EG3D을 따왔고 내부에 디테일을 교체했다는 점이 차이점이다. 사실 상 EG3D++이다. 차이점은 다음과 같다. 1) foreground -background 분리에 힘써서 머리만 따낼 수 있도록 한 것 (360으로 채우고) 2) tri-plane을 더 잘게 쪼개서 tri..

내 맘대로 Introduction 간단히 말해 3D GAN인데 multiview contraint가 맞아떨어지도록 이미지와 geometry를 생성해주는 3D GAN이라고 보면 된다. 단순히 2D GAN에서 쓰는 방식대로 3D GAN으로 확장했을 경우, 결과의 퀄리티를 떠나서 multiview contraint는 유지되지 않고 각각 독립적으로 생성되는 모양이다. 하지만 이 논문에서는 feature generation -> neural rendering 구조로 voxel grid를 이용하는 neural rendering의 기법을 가져와서 multiview contraint를 유지한 채로 generation을 할 수 있도록 설계했다. 위 이미지를 보면 직관적으로 이해가 될텐데 single image에서 생성한..

High-Resolution Image Synthesis with Latent Diffusion Models 내 맘대로 Introduction diffusion 논문의 인기를 극단적으로 끌어올리는데 기여한 또 다른 기념비적 논문 중 하나다. diffusion model이 갖고 있는 문제를 해결하는 것은 contribution으로 주장하는 논문이다. diffusion model은 이미 기존 generative model의 단점을 상당수 개선했지만 여전히 문제점은 갖고 있다고 한다. 엄청나게 오래 걸리는 학습 시간 긴 inference 시간 2023.02.17 - [Reading/Paper] - [Diffusion] Denoising Diffusion Probabilistic Models 의 result 부..

Denoising Diffusion Probabilistic Models 내 맘대로 Introduction 이 논문은 요새 뜨거운 감자인 diffusion model을 처음으로 알렸다고 해도 과언이 아닐 정도로 기념비적인 논문이다. 이전에 2015년 diffusion model 개념을 처음 소개한 논문은 따로 있지만 실제 GAN에 대적하는 성능을 보인다고 주장하여 그 우수성을 입증한 것은 이 논문이기 때문에 더 유명하다. GAN처럼 likely-hood method를 사용하는 generative model의 일종이지만 기존에 GAN이 갖고 있는 mode collapse, 학습 불안정성, 다양성 부족과 같은 문제를 풀 수 있는 새로운 프레임워크인 diffusion model을 상세히 소개한다. 이 글은 d..