CODERNER

내 맘대로 Introduction FLAME vertex + 얼굴 표면 normal 따라 추가 point 에 3DGS을 할당해서 얼굴 아바타를 복원한 논문이다. 크게 보면 3DGS 복원 논문인데 3DGS 하나하나가 FLAME 모델 vertex이거나 FLAME 모델 특정 표면에 binding 되어 있는 형태이기 때문에 pose, expression parameter에 따라 변형이 가능하다는 점이 장점이다. 그래서 Morphable! 핵심 아이디어는 3DGS의 기준이 되는 point들을 model vertex만 쓴 것이 아니라 얼굴 주변 point까지 확장했다는 점이다. 안경, 머리 표현력을 훨씬 좋을 것 같음. densification은 안하는 듯? 메모 기존에는 위 그림에서 파란점들에만 3DGS를 할당하..

내 맘대로 Introduction 2023 CVPR monoavatar라는 논문으로 video to implicit head avatar 논문이다. 3DMM(FLAME) + NeRF representation으로 다양한 표정의 얼굴 이미지를 찍어낼 수 있다. 핵심 아이디어는 FLAME vertex 마다 learnable feature를 할당 -> NeRF 방식으로 compositing해서 픽셀화하는 방식으로 학습시키는 것이다. 이제는 좀 알려진 방식이지만 2023년이므로 이게 첫 시작이었지 싶다. 또, CNN(UV map) feature를 쓰는 것인 3DMM 이용할 때 효과적이라는 것을 밝힘. 메모 0) 배경 제거, 3DMM 피팅, camera pose 찾기 1) CNN(Ref. uv map - defo..

내 맘대로 Introduction single image에서 multi person detection하는 논문. SMPLX 파라미터를 찾는 방식으로 검출해내는데 카메라로부터 거리까지 추정하는 절대적 검출이라는 것이 차이점이다. 대규모 데이터를 먹은 DinoV2를 backbone으로 쓰기 때문에 generalization도 좀 더 잘되는 것 같고 실제로 해봤을 때 기존 ROMP 같은 논문들보다 안정성이 뛰어나다. 메모 1) human patch detection (어느 patch에 사람 머리가 있는지) 2) offset regression (patch 내에서 디테일한 위치) 3) Cross attention 기반 regression ( human param + distance) 파라미터 dimension ..

내 맘대로 Introduction head template model을 만드는 순서는 보통 3D scan을 하고 MVS로 mesh를 얻은 다음 미리 만들어둔 template mesh를 registration하는 과정을 거친다. 이 때 MVS에 noise가 있는 것을 사람이 수작업으로 보통 거르고, registration 과정에서도 손으로 파라미터 튜닝을 해줘야 한다. 즉 수작업이 굉장히 많이 든다고 할 수 있다. 이 논문은 MVS-registration 순서를 통째로 대체해서 images to registrated model로 한 방에 가는 방법을 소개한다. 학습 과정에서 3D SCAN이 필요하긴 하다. 대신 MVS를 건너뜀. 메모 이미지 feature를 aggregation해서 feature volum..

내 맘대로 Introduction 이미지 N장으로부터 표정 변화가 가능한 head avatar를 얻는 방법. 표정 변화를 모델링하기 위해서 FLAME 모델을 사용했다. 핵심 아이디어는 이미지 feature와 FLAME feature를 분리해서 inference할 때 FLAME feature만 바꿔가면서 표정 변화를 할 수 있도록 했다는 점이다. 3D consistency를 유지하기 위해서 NeRF 컨셉을 넣기도 했는데 이건 거의 유행처럼 번진 수준 같다. 메모 입력 이미지 N장은 FLAME 모델과 상관없이 별개로 multi plane representation으로 encoding 됨. 이 때 M개의 multi plane 들이 나올 수 있도록 자유도를 열어줬다. M개 마다 learanble Query가 주..

내 맘대로 Introduction 이 논문은 3D Human avatar가 있을 때 texture를 업데이트해서 착장을 바꾼다거나 pose를 바꾸는 식으로 외형을 변형시키는 논문이다. 입력이 이미지가 아니라는 점. 핵심 아이디어는 texture는 uv map diffussion으로 다양화, pose 변화는 NeRF representation을 이용해 feature에 반영하는 부분이다. 그리고 각각 신체 파트 별로 나누어서 접근하는 divde-and-conquer 전략이다. 방대한 SMPL까지 존재하는 데이터셋에서만 적용 가능하다는 것이 단점. 메모 1) SMPL 파트 별로 uv map상으로 encoding (xyzrgb 입력으로 받을 듯) 2) NeRF 방식으로 feature rendering ( ray..

내 맘대로 Introduction 이 논문은 SMPL의 joint 구조를 실제 인간의 뼈구조와 일치시킨 논문이다. 쉽게 말하면 SMPL에 뼈를 추가한 것이며 뼈 또한 굵기, 길이가 파라미터로 조절될 수 있도록 했다. BSM 이라고 불리는 뼈 모델을 먼저 만들고 이것은 SMPL 기본 골격과 껴맞춘 뒤, 수 많은 피팅 결과들을 보면서 parameterization까지 마쳐서 SKEL 이라는 최종 모델을 만들었다. 특징점은 1) joint 위치가 뼈로 인한 위치로 변화했으므로 기존 위치와 많이 달라짐, 2) BSM 피팅 오차도 있어서 뼈가 튀어나오는 경우도 종종 있음 (완벽하게 혼연일체된 것은 아닌 것 같음) 이다. shape(체형)과 뼈는 사실 살찐 정도에 따라 다를 수 있으므로 어느 정도 독립적인데 SKE..

내 맘대로 Introduction 이 논문은 3d scan 내지 mesh가 주어졌을 때 3d gaussian과 엮어서 avatar로 만드는 방법을 적는다. 그냥 scan to animatable avatar로 가도 되지만 novelty가 떨어져 realistic rendering을 같이 가져간다는 컨셉으로 3d gaussian을 추가한 것 같다. 핵심 아이디어는 scan 내지 mesh를 tetrahedron으로 쪼개고, 그 안에 3d gaussian을 가두는 것이다. tetrahedron을 변형할 경우, barycentric coordinate로 표현된 내부 3d gs들이 따라움직일 것이므로, deformed avatar rendering이 자동으로 따라온다는 내용이다. 자잘하게 skeleton, fac..

내 맘대로 Introduction 제목에서도 할 수 있다시피 gaussian splatting을 이용해서 head 복원을 하는데, expression을 자유자재로 바꿀 수 있도록 아바탕 형태로 복원하는 것을 목표로 한다. head의 경우 body와 달리 자유도가 낮기 때문에 복원이 쉽다는 장점이 있지만 사람의 identity를 결정하는 주요한 부분이므로 복원 퀄리티가 압도적으로 높아야 한다. 이 논문은 expression을 바꿀 수 있는 것에도 주목했지만 어떻게 퀄리티를 끌어올릴지도 고민한 논문이다. 핵심 아이디어는 NeuS로 강력한 초기값 계산 -> 3d gaussian splatting -> rendering -> super resolution 이다. 부족한 퀄리티를 강력한 초기화랑 super res..

내 맘대로 Introduction 이 논문은 Adobe research 과제로 나온 논문 같은데 왠지 곧 CVPR에 나올 것 같다. 하고자 하는 것은 head mesh model +3d gaussian splatting을 합쳐서 animatable head rendering을 가능하도록 만드는 것이다. 머리를 제외한 대부분 형상(배경, 몸 등)이 고정되어 있다는 전제하에 머리를 가누거나 돌리는 이미지 렌더링을 할 수 있다. 핵심 아이디어는 특별하진 않은데, FLAME이라는 head mesh model vertex를 시작으로 densification하는 것 + vertex prior를 이용해 regularization을 가하는 방식이다. 가장 심플하게 생각할 수 있느 아이디어라고 생각하는데 가장 빠르게 구..