CODERNER

내 맘대로 Introduction 개인적으로 좋아하는 연구자인 디즈니 chandran의 2025년 eurographics 논문이다. 근데 이번 논문은 살짝 완성도 측면에서 아쉬운 것 같다. 완성도라기 보단 기존 논문 대비 참신함이 돋보이지 않아서 아쉬웠던 논문? 주어진 arbitrary face scan(topology는 template이랑 똑같음)의 표정을 target template mesh로 옮기는 expression transfer에 대한 논문인데, 사전에 topology를 맞춰서 광범위하게 paired dataset를 만들어 놓고 시작하기 때문에 문제가 너무 쉽다. (unsupervised나 self supervised로 풀었다면 진짜 괴물급 논문이었겠지만...) 핵심 내용도 그냥 shape ..

내 맘대로 Introduction 이 논문 역시 hair 복원을 목적으로 하는데, neural strand에서 한 스텝 더 나아가서 gaussian을 binding해서 realistic rendering까지 나아간 논문이다. 어떻게 보면 당연한 수순을 밟아 나온 논문이라고 볼 수 있겠다. neural strands에서 아쉬운 점이라고 하면 최종 렌더링 결과를 얻는 것이 alpha compositing에 의존하기 때문에 정해진 시점, 입력 시점에서만 결과를 얻을 수 있다는 점이다. Gaussian이 등장한 이후로 시점을 다양화하는 것은 기본처럼 느껴지게 된 상황이라 마지막 렌더러를 GS로 바꾸려고 생각하는 것은 자연스러웠다. 핵심 아이디어는 기존 neural strand 방식으로 그대로 따라가되 hair..

내 맘대로 Introduction진짜 대박인 논문 하나 더 나왔다. Hair strand의 어떻게 보면 끝판왕이라고 볼 수 있는 형태가 나온 것 같다. 이미지 to hair style. 핵심은 Blender로 만든 대규모 synthetic hair dataset으로 image conditioned iffusion model을 학습시키는 것. 기반이 되는 아이디어는 Neural Strands에서 제안한 3D strand VAE (의 latent space), strand 정의 방법 자체다. 좋은 논문에 이은 좋은 후속작이라고 생각한다. 이전까지 hair stand 복원이 multiview domain이나 synthetic domain에 멈춰있었는데 이 논문이 효과적인 프레임워크들을 잘 조합해서 singl..

내 맘대로 Introduction오랜만에 궁금해서 설렐 정도의 논문을 본 것 같다. Gaussian haircut 논문을 보다가 타고 올라와서 보게 된 논문인데, 남길주 박사님이 있는 논문. LMVS (line based MVS)로 CVPR 2019에서 hair reconstruction paper 쓰신 것을 보고 대단하다 생각했는데, 계속 머리카락에 대한 주옥 같은 논문에는 항상 참여하시는 것 같아 다시금 대단해보인다. 각설하고 논문 내용을 보면, FLAME의 두피 특정 위치마다 1가닥의 strand를 맵핑해서 머리카락을 복원해내겠다는 컨셉으로 strand를 어떻게 latent로 표현할 것인지 제안한 것부터 포함되어 있다. 이외에 1개씩 복원해서는 수만개의 머리카락을 표현하는데 한계가 있으니 UV d..

내 맘대로 Introduction 상상만 했던 것을 직접 구현한게 나왔다. StyleGAN2의 3DGS 버전이다. latent 하나만 달랑 넣으면 template mesh에 대응되는 3DGS가 짠 나오는 논문. StyleGAN2 generator - 3DGS + diff. rasterizer - discriminator 3개만으로 풀어버렸다. 안 그래도 학습이 어려운 GAN 튜닝을 3DGS 같이 자유도가 높은 대상에 대해서 하는 것은 사실 누가 봐도 쉽지 않아보였는데 그걸 해버렸다. 그래서 SIGGRAPH에 됐나 보다.... 메모1) generator  UV domain 각 픽셀마다 3DGS primitives 예측2) 3DGS 렌더링3) discirimination.latent 512 vector 를 ..

내 맘대로 Introduction주어진 multiview-video + fitted FLAME 들로부터 animatable avatar를 만드는 것은 기존 많은 논문들과 동일한데, 머리카락 부분과 나머지 부분을 분리해서 학습시켜서 머리 바꿔치기가 가능하다는 점과, FLAME을 그대로 안쓰고 UV displacement을 중간 끼워넣어서 geometry가 더정확해지도록 만든 다음 처리했다는 점이 눈에 띈다. 결과가 재밌고 자연스러워서 인정 받은 느낌도 있다.  메모일단 전제 조건은 주어진 1객체마다 학습을 따로 한다는 점. 범용 모델은 아니다. subject A, B가 있으면 A, B 각각 학습하는 식.1) exp+pose parameter 입력으로 받았을 때 subject-specific displace..

내 맘대로 Introduction 이 논문은 arc2face (얼굴 ID embedding으로부터 얼굴 이미지 만들어주는 SD)를 이용해서 3D animatable head를 만드는 논문. 핵심 아이디어는 FLAME 각 vertex마다 3D GS를 할당하고, ID embedding을 condition으로 주는 상태에서 "SDS" loss 만으로 학습시킨 점. text-to-3D에서 주로 쓰는 방법인데, arc2face가 text를 ID embedding으로 바꿔친 논문이다 보니 ID-to-3D가 가능해진 점을 바로 캐치하고 대입한 논문이라고 할 수 있다.  가능성이 아무리 열렸다고 해도 이를 SDS loss 만으로 위 결과를 만들어 내는 것은 쉽지 않았을텐데, 실험의 실험을 거듭한 결과이지 않을까. 논문..

내 맘대로 Introduction single image에서 3d human avatar 얻어내려는 시도가 워낙 많아서 이제는 이 논문이 저 논문 같고, 저 논문이 이 논문 같다. 방법론은 대개 비슷한 것 같고 누가 누가 더 많은 데이터로 완성도 있게 만들었냐를 경쟁하는 듯 하다. 이 논문 역시 SMPLX query point (feature) + image feauter --> transformer --> per-vertex 3D Gaussian parameter 이런 흐름이다. Feature extractor로 Sapiens에 DINOv2까지 갖다 붙이고 transformer로 decoding 하는 방식.  메모목적이 뚜렷하다.SMPLX per-vertex 3DGS 를 만들건데, LBS로 자세 바꿨을..

내 맘대로 Introduction Neural ICP랑 결이 비슷하긴 하지만 주어진 SCAN에 딱맞는 registration level의 SMPL를 얻는 것이 아니라, 옷 내부에 있는 skinned body만 얻어내는 논문. 어찌 보면 SMPL 표현력에 딱 맞는 최대 fitting을 찾는 논문이라 볼 수 있겠다. 옷으로 인한 displacement는 애초에 SMPL로 찾는 것이 문제기도 하니까.outer surface를 SMPL로 찾는 것이 맞는 문제인가? 라고 보여주면서 문제 정의 확실하게 하고 시작함. 주어진 각 SCAN point, x에 대해 가장 가까운 SMPL point를 찾아내는 컨셉. NICP랑 방향이 반대라고 할 수 있다.  이 논문은 조금 배경 지식이 필요했다. 각 3D point의 fe..

내 맘대로 Introduction NPHM이 고가의 레이저 스캔 장비로 기존 데이터셋과 다르게 머리카락을 포함한 데이터셋을 공개한 것에서 출발해서, FLAME 모델에서 부재하는 hair 표현력을 보강한 논문이다. 한마디로 FLAME에 갖다붙일 수 있는 hair 모델이다. 핵심 아이디어는 3D SCAN - registered FLAME = displacement를 학습 데이터로 사용해서 displacement generative model을 만든 것. 요즘 대세인 UV domain representation을 사용해서 displacement를 2차원으로 다루었다는 것도 눈에 띈다. (확실히 요새 UV가 대세인 것 같다.) 2D UV 도메인으로 오는 순간 CNN의 spatial inductive bias를 ..