CODERNER

Topologically Consistent Multi-View Face Inference Using Volumetric Sampling

내 맘대로 Introduction learnable regisration의 시초 같은 논문. 이것도 꽤 오래됐다. hao li 참여 논문. calibration된 세팅에서 정해진 volume 안에 모델이 존재하고, 3D voxel feature로부터 template mesh vertex를 예측하는 방식. coarse 예측 후, displacement map이나 albedo같은 디테일맵을 추가 예측한다. light stage 데이터가 있기에 가능한 학습이었고, MVS도 모공 수준으로 잘된 경우를 취급한다. 메모기본 컨셉은 coarse-to-fine이다 역시. coarse mesh를 낮은 vertex로 예측한 뒤 (global stage) lcao stage를 몇번 반복하면서 high resolution ..

GLVD: Guided Learned Vertex Descent

내 맘대로 Introduction 그림만 보고 mesh diffusion 같은 컨셉인 줄 알았는데 알고보니 LVD의 얼굴 버전이더라. 단순히 말하면 LVD랑 똑같이 projected vertex 위치에서 이미지 feature를 뽑아가면서 vertex 위치의 보정량을 예측하는 네트워크를 학습하는 건데, 얼굴이라는 도메인을 살려서 keypoint 에 대해서 relative postiion encoding을 취하면서 진행하면 성능이 좋다는 얘기. 사실 크게 와닿는 내용은 아닌 것 같다. 단순 메모용. 메모LVD를 얼굴에 대해서만 학습할 건데 keypoint 추정하는 모듈을 같이 학습해서 keypoint가 나머지를 guide한다는 의미.2D keypoint dectector에서 얻은 heatmap을 이용해 im..

Learned Vertex Descent : A New Direction for 3D Human Model Fitting

끄적끄적오랜만에 논문 기록을 한다. 8월 중순 이후로 좀 하던 연구도 따라 잡히고 그래서 꺾였다가 다시금 하고 싶은 내용 하나 잡아서 시작. 내 맘대로 Introduction2022년 공개된 논문이라 꽤 됐긴 한데, 이미지로부터 바로 파라미터를 예측하는 것이 아니라 최적화랑 estimation을 교묘하게 묶어놓은 방식. PyMAF랑 비슷한 느낌인데 이게 원조다. 현재 모델 vertex를 이미지로 내려찍고, 해당 위치의 이미지 feature로 vertex displacement를 추정하는걸 반복하는 방식. vertex가 이동해야할 방향을 네트워크를 활용해서 계속 추정하고, 이걸 이용해서 최적화하는 걸 반복해서 최종 형상을 얻어내는 방식이다. L2 distance나 chamfer distance 같은건 ..

내 맘대로 IntroductionGGHEAD, GSGAN, CSG-GAN을 보면서 아무것도 없는 pointcloud에서 시작할 것이 아니라 UV가 됐든 mesh가 됐든 머리통을 초기값으로 시작하면 훨씬 잘될텐데 라는 생각으로 한 번 뭐 해볼까 싶었는데 찾아보니 바로 있었다. 역시 사람 생각하는 것 다 똑같고 빠르다. 이건 심지어 메타에서 인턴이 쓴 것이라 퀄리티가 높음. 핵심은 UV texel 별로 3DGS를 generation하는 3DGAN을 학습시킨 것. 이 때 face에 해당하는 UV map 외에 hair 파트에 해당하는 UV map을 추가로 디자인해서 따로 따로 생성할 수 있도록 했다는 점. 결과적으로 같은 얼굴에 다른 헤어스타일을 만들어낼 수 있게 된다. 구현적으로 Neural Jacobian..

내 맘대로 Introduction CGS-GAN 코드를 보니 뭔가 안쓰이는 코드도 구현되어 있고, dummy 값으로 채워넣는 부분도 있어서 뭐지 싶었는데, GSGAN 코드를 그대로 복붙하고 수정해서 쓴거더라. 사실 이 논문의 코드를 분석하고 개선한 뒤, 데이터셋까지 큐레이션한게 CSG-GAN이었다. 이 논문이 시간적으로 앞섰을 뿐 아니라 그냥 기반이 된 논문. 읽어보니 디테일한 노하우들은 다 GSGAN에서 나왔다. 개인적으로 저자의 이력을 보니, 몇 년 전부터 GAN을 다루시는 분인 것 같은데 그 경험 덕인지 이미지 대비 난이도가 높은 3D GAN 프레임워크를 잘 디자인하신 것 같다. 단독 저자인 것도 인상적. 한국 분이시기도 해서 얘기 나눌 기회가 있었음 좋겠다. 논문 핵심은 generator 자체..

내 맘대로 Introduction GGHead도 대단하다고 생각했는데 이에 뒤이어 곧바로 GSGAN이랑 이 논문이 나왔다. 3D GS GAN을 만든 것인데 이전보다 pose variation에 강건하고 3d consistency가 더 확보된다는 점이 차이다. 학습 데이터는 동일하나 섬세한 gradient handling과 네트워크 구조 변화로 성능 점프를 이뤘다는게 멋지다. 핵심은 렌더링을 multiview로 해서 loss를 계산하되, averaged gradient로 업데이트해서 안정성을 높이고 기존 카메라 정보를 넣어주던 부분을 과감히 빼버린 것이다. camera-biased generation에서 완전 3D aware generation으로 넘어가게 한 느낌. 이런 사소한 차이를 관찰을 통해 알아..

내 맘대로 Introduction 개인적으로 좋아하는 연구자인 디즈니 chandran의 2025년 eurographics 논문이다. 근데 이번 논문은 살짝 완성도 측면에서 아쉬운 것 같다. 완성도라기 보단 기존 논문 대비 참신함이 돋보이지 않아서 아쉬웠던 논문? 주어진 arbitrary face scan(topology는 template이랑 똑같음)의 표정을 target template mesh로 옮기는 expression transfer에 대한 논문인데, 사전에 topology를 맞춰서 광범위하게 paired dataset를 만들어 놓고 시작하기 때문에 문제가 너무 쉽다. (unsupervised나 self supervised로 풀었다면 진짜 괴물급 논문이었겠지만...) 핵심 내용도 그냥 shape ..

내 맘대로 Introduction 이 논문 역시 hair 복원을 목적으로 하는데, neural strand에서 한 스텝 더 나아가서 gaussian을 binding해서 realistic rendering까지 나아간 논문이다. 어떻게 보면 당연한 수순을 밟아 나온 논문이라고 볼 수 있겠다. neural strands에서 아쉬운 점이라고 하면 최종 렌더링 결과를 얻는 것이 alpha compositing에 의존하기 때문에 정해진 시점, 입력 시점에서만 결과를 얻을 수 있다는 점이다. Gaussian이 등장한 이후로 시점을 다양화하는 것은 기본처럼 느껴지게 된 상황이라 마지막 렌더러를 GS로 바꾸려고 생각하는 것은 자연스러웠다. 핵심 아이디어는 기존 neural strand 방식으로 그대로 따라가되 hair..

내 맘대로 Introduction진짜 대박인 논문 하나 더 나왔다. Hair strand의 어떻게 보면 끝판왕이라고 볼 수 있는 형태가 나온 것 같다. 이미지 to hair style. 핵심은 Blender로 만든 대규모 synthetic hair dataset으로 image conditioned iffusion model을 학습시키는 것. 기반이 되는 아이디어는 Neural Strands에서 제안한 3D strand VAE (의 latent space), strand 정의 방법 자체다. 좋은 논문에 이은 좋은 후속작이라고 생각한다. 이전까지 hair stand 복원이 multiview domain이나 synthetic domain에 멈춰있었는데 이 논문이 효과적인 프레임워크들을 잘 조합해서 singl..

내 맘대로 Introduction오랜만에 궁금해서 설렐 정도의 논문을 본 것 같다. Gaussian haircut 논문을 보다가 타고 올라와서 보게 된 논문인데, 남길주 박사님이 있는 논문. LMVS (line based MVS)로 CVPR 2019에서 hair reconstruction paper 쓰신 것을 보고 대단하다 생각했는데, 계속 머리카락에 대한 주옥 같은 논문에는 항상 참여하시는 것 같아 다시금 대단해보인다. 각설하고 논문 내용을 보면, FLAME의 두피 특정 위치마다 1가닥의 strand를 맵핑해서 머리카락을 복원해내겠다는 컨셉으로 strand를 어떻게 latent로 표현할 것인지 제안한 것부터 포함되어 있다. 이외에 1개씩 복원해서는 수만개의 머리카락을 표현하는데 한계가 있으니 UV d..