CODERNER

내 맘대로 Introduction 어쩌면 NPHM의 후속작이라고 불릴 수 있을 것 같은데, 약간의 Local controllability를 향상시키고 데이터셋의 범위를 크기 넓혀서 만들었다. 데이터셋을 4000 id 규모로 공개하고 학습에 이용했는데, 직접 스캔한 것을 이렇게 공개했나 하고 대단하다고 생각했었는데 있는 안면부 데이터를 completion해서 사용했다. MimicMe 데이터셋에 NPHM을 피팅해서 사용하는 방식 + 약간의 후처리를 곁들였다. 메모1. mimicme에서 4000개 subject 20개 expression 얼굴 스캔을 가져옴2. FLAME fitting해서 좌표계 맞추고 스케일 맞추고. 3. NPHM을 피팅함. 4. NPHM mesh를 얻어낸 다음, 얼굴부만 NICP로 한..

내 맘대로 Introduction Geometry Distributions 을 준비하면서 동시에 준비한 듯한 논문. 데이터의 표현법을 고민했으니, 이 표현법을 사용해서 뭔가 새로운 시도를 해보고 싶었을 것이다. 그 결과 3D generative model의 새로운 접근을 보여준다. 기존 방식들은 SDF representation을 사용하므로 학습이 굉장히 어렵다. surface point sampling 방식에 따라서, 그리고 네트워크 크기에 따라서 말이다. 저자들이 이전 논문에서 제안한 방식은 학습만 된다면 데이터를 효과적으로 표현하는 대체재를 만들기 때문에 좀 더 효율적인 모델 학습이 가능할 것으로 기대된다. 일단 budget의 한계인지 사람 데이터로 scope를 줄여서 시도했다. objaverse..

내 맘대로 Introduction learnable regisration의 시초 같은 논문. 이것도 꽤 오래됐다. hao li 참여 논문. calibration된 세팅에서 정해진 volume 안에 모델이 존재하고, 3D voxel feature로부터 template mesh vertex를 예측하는 방식. coarse 예측 후, displacement map이나 albedo같은 디테일맵을 추가 예측한다. light stage 데이터가 있기에 가능한 학습이었고, MVS도 모공 수준으로 잘된 경우를 취급한다. 메모기본 컨셉은 coarse-to-fine이다 역시. coarse mesh를 낮은 vertex로 예측한 뒤 (global stage) lcao stage를 몇번 반복하면서 high resolution ..

내 맘대로 Introduction 그림만 보고 mesh diffusion 같은 컨셉인 줄 알았는데 알고보니 LVD의 얼굴 버전이더라. 단순히 말하면 LVD랑 똑같이 projected vertex 위치에서 이미지 feature를 뽑아가면서 vertex 위치의 보정량을 예측하는 네트워크를 학습하는 건데, 얼굴이라는 도메인을 살려서 keypoint 에 대해서 relative postiion encoding을 취하면서 진행하면 성능이 좋다는 얘기. 사실 크게 와닿는 내용은 아닌 것 같다. 단순 메모용. 메모LVD를 얼굴에 대해서만 학습할 건데 keypoint 추정하는 모듈을 같이 학습해서 keypoint가 나머지를 guide한다는 의미.2D keypoint dectector에서 얻은 heatmap을 이용해 im..

끄적끄적오랜만에 논문 기록을 한다. 8월 중순 이후로 좀 하던 연구도 따라 잡히고 그래서 꺾였다가 다시금 하고 싶은 내용 하나 잡아서 시작. 내 맘대로 Introduction2022년 공개된 논문이라 꽤 됐긴 한데, 이미지로부터 바로 파라미터를 예측하는 것이 아니라 최적화랑 estimation을 교묘하게 묶어놓은 방식. PyMAF랑 비슷한 느낌인데 이게 원조다. 현재 모델 vertex를 이미지로 내려찍고, 해당 위치의 이미지 feature로 vertex displacement를 추정하는걸 반복하는 방식. vertex가 이동해야할 방향을 네트워크를 활용해서 계속 추정하고, 이걸 이용해서 최적화하는 걸 반복해서 최종 형상을 얻어내는 방식이다. L2 distance나 chamfer distance 같은건 ..

내 맘대로 IntroductionGGHEAD, GSGAN, CSG-GAN을 보면서 아무것도 없는 pointcloud에서 시작할 것이 아니라 UV가 됐든 mesh가 됐든 머리통을 초기값으로 시작하면 훨씬 잘될텐데 라는 생각으로 한 번 뭐 해볼까 싶었는데 찾아보니 바로 있었다. 역시 사람 생각하는 것 다 똑같고 빠르다. 이건 심지어 메타에서 인턴이 쓴 것이라 퀄리티가 높음. 핵심은 UV texel 별로 3DGS를 generation하는 3DGAN을 학습시킨 것. 이 때 face에 해당하는 UV map 외에 hair 파트에 해당하는 UV map을 추가로 디자인해서 따로 따로 생성할 수 있도록 했다는 점. 결과적으로 같은 얼굴에 다른 헤어스타일을 만들어낼 수 있게 된다. 구현적으로 Neural Jacobian..

내 맘대로 Introduction CGS-GAN 코드를 보니 뭔가 안쓰이는 코드도 구현되어 있고, dummy 값으로 채워넣는 부분도 있어서 뭐지 싶었는데, GSGAN 코드를 그대로 복붙하고 수정해서 쓴거더라. 사실 이 논문의 코드를 분석하고 개선한 뒤, 데이터셋까지 큐레이션한게 CSG-GAN이었다. 이 논문이 시간적으로 앞섰을 뿐 아니라 그냥 기반이 된 논문. 읽어보니 디테일한 노하우들은 다 GSGAN에서 나왔다. 개인적으로 저자의 이력을 보니, 몇 년 전부터 GAN을 다루시는 분인 것 같은데 그 경험 덕인지 이미지 대비 난이도가 높은 3D GAN 프레임워크를 잘 디자인하신 것 같다. 단독 저자인 것도 인상적. 한국 분이시기도 해서 얘기 나눌 기회가 있었음 좋겠다. 논문 핵심은 generator 자체..

내 맘대로 Introduction GGHead도 대단하다고 생각했는데 이에 뒤이어 곧바로 GSGAN이랑 이 논문이 나왔다. 3D GS GAN을 만든 것인데 이전보다 pose variation에 강건하고 3d consistency가 더 확보된다는 점이 차이다. 학습 데이터는 동일하나 섬세한 gradient handling과 네트워크 구조 변화로 성능 점프를 이뤘다는게 멋지다. 핵심은 렌더링을 multiview로 해서 loss를 계산하되, averaged gradient로 업데이트해서 안정성을 높이고 기존 카메라 정보를 넣어주던 부분을 과감히 빼버린 것이다. camera-biased generation에서 완전 3D aware generation으로 넘어가게 한 느낌. 이런 사소한 차이를 관찰을 통해 알아..

내 맘대로 Introduction 개인적으로 좋아하는 연구자인 디즈니 chandran의 2025년 eurographics 논문이다. 근데 이번 논문은 살짝 완성도 측면에서 아쉬운 것 같다. 완성도라기 보단 기존 논문 대비 참신함이 돋보이지 않아서 아쉬웠던 논문? 주어진 arbitrary face scan(topology는 template이랑 똑같음)의 표정을 target template mesh로 옮기는 expression transfer에 대한 논문인데, 사전에 topology를 맞춰서 광범위하게 paired dataset를 만들어 놓고 시작하기 때문에 문제가 너무 쉽다. (unsupervised나 self supervised로 풀었다면 진짜 괴물급 논문이었겠지만...) 핵심 내용도 그냥 shape ..

내 맘대로 Introduction 이 논문 역시 hair 복원을 목적으로 하는데, neural strand에서 한 스텝 더 나아가서 gaussian을 binding해서 realistic rendering까지 나아간 논문이다. 어떻게 보면 당연한 수순을 밟아 나온 논문이라고 볼 수 있겠다. neural strands에서 아쉬운 점이라고 하면 최종 렌더링 결과를 얻는 것이 alpha compositing에 의존하기 때문에 정해진 시점, 입력 시점에서만 결과를 얻을 수 있다는 점이다. Gaussian이 등장한 이후로 시점을 다양화하는 것은 기본처럼 느껴지게 된 상황이라 마지막 렌더러를 GS로 바꾸려고 생각하는 것은 자연스러웠다. 핵심 아이디어는 기존 neural strand 방식으로 그대로 따라가되 hair..