CODERNER

내 맘대로 Introduction Meta에서 낸 3D gaussian 활용 논문인데 결과가 압도적이다. 머리카락, 안구, 피부결까지 보일 정도로 고해상도 아바타를 만들어낼 수 있는 기술이다. 다만, 110대의 DSLR으로 촬영한 이미지들이 있어야만 하고 사람마다 학습을 따로 따로 해야하기 때문에 범용성에서는 아쉬운 점이 있다. 하지만 촬영 대상에 한해서는 여느 알고리즘과도 비교할 수 없을 정도로 정밀한 렌더링 결과를 보여준다. 심지어 촬영 때 calibrated light source까지 바꿔가면서 촬영했기 때문에 빛 변화도 같이 렌더링할 수 있다. 핵심 아이디어는 기존 머리 모델 (+안구 모델)의 texel 하나하나에 3d gaussian을 할당하고 VAE를 학습시키는 것이다. VAE로 만든 late..

내 맘대로 Introduction 이 논문은 InstantNGP를 SDF based NeRF에 확장한 논문이다. 복원 대상을 사람으로 한정해서 non-rigid motion을 추가했다는 contribution이 있지만 핵심은 SDF base NeRF의 속도를 비약적으로 끌어올리는 것에 있다. 메모하며 읽기 이론적 기반은 NeuS를 그대로 사용했음. 길고 길게 써있지만 Hash grid를 이용한 SDF 학습을 위해 2nd order derivative 계산 방법을 CUDA로 직접 구현했다는 이야기. 부수적으로 구현을 했더니 SDF는 학습 안정성이 떨어져서 sigmoid를 씌워서 TSDF로 사용했다. 2nd order derivate가 핵심인데 이건 설명보다 구현적인 것이라 논문에 기재되어 있지 않음. 근데..

내 맘대로 Introduction 3DDFA 처럼 얼굴 이미지 한 장 들어왔을 때 해당 얼굴에 대응되는 3DMM 파라미터와 R|t를 뱉어주는 네트워크다. 차이점은 학습할 때 multiview constraint를 써서 성능을 높였다는 점이다. 개인적으로 이런 multiview consistency를 사용하는 논문들이 깔끔한 것 같아서 맘에 든다. 하나 아쉬운 것은 이를 위해선 카메라 포즈가 사전에 계산되어 있는 얼굴 데이터가 있어야 하니 데이터 수집 측면에서 단점이 있는 논문이라고 할 수 있겠다. 메모하며 읽기 학습 시에만 multiview image를 사용하고, inference 시에는 singleview image 이미지를 쓰는 네트워크다. 입력은 이미지, 출력은 3DMM 파라미터인데, 이를 mult..

내 맘대로 Introduction DreamFusion이랑 똑같이 text-to-3D를 목적으로 하는데 DreamFusion이 realistic하지 않은 결과를 만들어내는 문제를 개선한 법전이다. DreamFusion의 아쉬운 퀄리티 문제는 volume rendering 대상 공간을 스크래치부터 학습시킬 때 diffusion model에만 의존해서 학습시키기 때문에 대상 공간의 color, volume density 학습이 잘 되지 않기 때문이라고 한다. generation model 연구들을 보면 복원을 하고자 할 때 image space에서 직접 복원하는 것보다 latent space에서 복원하고 latent to image decoder를 붙이는 식으로 하는 것이 더 효과적이라는 이야기가 많은데, ..

내 맘대로 Introduction 얼굴 한정 VolSDF 류 논문인데 3DMM을 동시에 활용함으로써 성능 향상과 필요 이미지 감소, 속도를 개선한 논문이다. SMPL 기반 clothed human modeling에서 자주 쓰이는 기법의 얼굴 버전이라는 생각이 든다. 3DMM 초기화를 이용해 coarse 복원 이후 model coverage를 벗어난 디테일을 보충하는 fine 복원 과정으로 구성되어 있다. 메모하며 읽기 Neural rendering 쓸 것이며 corase to fine 컨셉이다. notation을 초반에 이렇게 던지고 시작하는데 깔끔하긴 하나 눈에 들어오진 않는 것 같다. 논문 쓸 때 이렇게 쓰지 말아야지. coarse 에 해당하는 부분인데 갖고 있는 모든 사람 얼굴 데이터를 다 써서 미..

내 맘대로 Introduction 3DMM을 이미지에 fitting 시키는 논문 중 현재 SOTA라고 불리는 논문이다. body로 치면 HMR 류 논문의 SOTA이다. 성능을 높이는 것에만 집중하지 않고 cpu에서도 빠르게 도는 것을 목표로 했기 때문에 구조도 단순하고 네트워크도 그리 무겁지 않다. face pose가 필요한 논문들 (특히, NeRF 류) 에서 preprocessing으로 잘 쓰고 있는 논문이므로 성능은 실험적으로도 충분히 검증된 것 같다. 메모하며 읽기 입력 이미지를 받고 MobileNet으로 feature extraction 후, 각각 keypoint 찾고 3DMM parameter찾는 모듈 입력으로 넣어주는게 전부다. 사실 엄청 간단한데 핵심은 keypoint 모듈은 학습 단계에만 ..

내 맘대로 Introduction 얼굴 한정으로 3D surface reconstruction을 할 것인데 사람 얼굴이다보니 디테일과 텍스처가 다른 대상보다 특히나 중요하다. 따라서 더 현실감있는 얼굴을 복원하기 위해서 PBR(physically based rendering), BRDF를 잘 녺여보겠다는 논문이다. 메모하며 읽기 사전 배경지식으로, 빛 하나 하나를 보았을 때 BRDF로 모델링한다. 입사하는 빛의 각도에 따라 incident radiance, Li()를 계산해주어야 하는데 이건 수식(2)와 같이 Spherical harmonics + learnable coefficient 조합으로 표현된다고 정의해서 사용한다. BRDF, f 자체는 diffuse와 glossy reflection으로 정의했..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..

PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop 내 맘대로 Introduction 이 논문은 한마디로 SMPLify, HMR, SPIN과 같이 single image 에 SMPL을 어떻게 잘 fitting하느냐에 관한 논문이다. optimization based, regression based 많은 연구들이 있어서 주제 자체는 새롭지 않지만 그 성능이 압도적이어서 ICCV 2021 Oral까지 받은 논문이 되겠다. HMR 같이 regression based 논문이며 입력은 single image, 출력은 SMPL 파라미터다. 차이점은 기존 regression based 알고리즘은 이미지 전체를 압축한..

Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies 내 맘대로 Introduction 2023.04.07 - [Reading/Paper] - [NeRF] D-NeRF: Neural Radiance Fields for Dynamic Scenes 2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 위 두 논문과 똑같은 논문이 또 있었다. NeRF에 time 축을 어떻게 추가할 것인가, 그래서 움직이는 사람 대상으로 NeRF..