CODERNER

작년 ICCV2025 때 포스터를 보기도 했고 그 이전에도 arxiv 논문으로 먼저 읽어봤던 FaceLift 가 있었다. 개인적으로 Adobe에서 쓴 논문이기 때문에 퀄리티에 대한 의심은 없었고 코드가 공개되길 내심 기대했었는데 반갑게도 공개가 됐더라. 얼굴 정면 이미지를 입력하면 Multiview diffusion으로 정해진 시점의 6장 이미지를 만들어 내고, 이 multiview image + camera pose가 뒷단의 GS-LRM 모델에 들어가 pixel 마다 3DGS를 예측하는 구조다. 3DGS를 최적화로 수렴시켜서 찾아내는 것보다 pixel마다 prediction하는 구조이기 때문에 3DGS candidate가 월등히 많아 디테일을 표현하기에 굉장히 유리한 모양이다. 그래서 위 그림처럼 수..

COLMAP이 엄청 좋긴 한데, dense pointcloud를 얻어내고자 할 때는 아쉬운 점이 많다. 어찌 됐건 classic feature matching 기반으로 돌기 때문에 textureless region에서 pointcloud가 통째로 없는건 어쩔 수 없고 MVS까지 돌린다 해도 시간이 너무 오래 걸린다. Metashape에서 만든 Agisoft가 엄청 빠르고 전반적으로 잘되지만 엄청나게 큰 단점. precalibrated camera를 넣는게 거의 불가능하다. 왜 그런지 모르겠는데 미리 camera, sensor 등등 다 설정하고 온갖 fixed=True로 바꿔도 돌리고 나면 지혼자 값이 바뀌어있다. 결과물은 또 잘 나오는데 카메라 포즈랑은 안 맞는 기현상까지 보인다. 이건 개발 단계에서 ..

Neural Implicit Surface Evolution 논문에서 level set equation을 이용해 두 형상 간의 interpolation을 implicit function으로 표현했을 경우 얻을 수 있는 이득에 적잖이 놀랐다. 문득, level set equation에서 a(t)로 표현되는 어떤 한 point의 시간에 따른 trajectory가 들어있는 것을 보고,학습이 완료된 상태라면 저 a'(t) (a(t)는 계산 못함) 를 역계산할 수 있을텐데, 그러면 한 위치 x에서 a'(t)를 따라 적분해나간다면 x의 trajectory를 표현할 수 있는거 아닌가? 라는 궁금증이 생겼다. 만약 그게 된다면, geometry A 의 vertex들을 입력으로 넣고 a'(t)를 이용해 trajector..

3D mesh를 다룰 떄 laplacian loss로 regularization을 가하는 것은 기본적인 규칙이 되어버렸는데, Large Steps in Inverse Rendering of Geometry 에서 제안한 방법이 더 좋아보였다. SIGGRAPH에 나온 논문이기도 하니까... https://github.com/rgl-epfl/large-steps-pytorch GitHub - rgl-epfl/large-steps-pytorch: Implementation of "Large Steps in Inverse Rendering of Geometry"Implementation of "Large Steps in Inverse Rendering of Geometry" - rgl-epfl/large-step..

Motivationbody mesh하면 SMPL, Head mesh하면 FLAME 사실 사람과 관련된 template mesh model은 MPI가 독점하고 있다. 초창기에는 성능 때문에, 요즘에는 대규모 커뮤니티를 통해 검증/발전되었기 때문에 이것들만 쓴다. 나 역시 많이 써보았고, 자체 완성도와 녹아있는 노하우들에 감탄할 때가 많다. 하지만 종종 서양인에 맞추어진 표현력이 아쉬울 때도 많았다. 대규모 3D SCAN을 사용해서 만든 FLAME이라고는 하지만 대상이 유럽인이 대부분이기 때문에 서양인 얼굴 형태에 bias가 들어있다. 그 결과 낮은 콧대나 옆으로 넓은 얼굴에 대한 표현력이 상당히 아쉽다. Introduction그래서 내가 모아서 전처리해둔 모든 데이터들을 모아서 Head template..

https://huggingface.co/datasets/polygom-team/2K2K polygom-team/2K2K · Datasets at Hugging FaceYou need to agree to share your contact information to access this dataset This repository is publicly accessible, but you have to accept the conditions to access its files and content. The dataset is encrypted to prevent unauthorized access. Please fill ohuggingface.co CVPR 2023 High-fidelity 3D Human ..

https://sanghunhan92.github.io/conference/2K2K/ High-fidelity 3D Human Digitization from Single 2K Resolution Images | Project PageAbstract High-quality 3D human body reconstruction requires high-fidelity and large-scale training data and appropriate network design that effectively exploits the high-resolution input images. To tackle these problems, we propose a simple yet effective 3sanghunhan9..

https://github.com/NVlabs/RADIO GitHub - NVlabs/RADIO: Official repository for "AM-RADIO: Reduce All Domains Into One"Official repository for "AM-RADIO: Reduce All Domains Into One" - NVlabs/RADIOgithub.com 궁극의 vision foundation model이 나온 것 같아서 직접 feature를 뽑아서 관찰해봤다. 결과 위 결과는 입력 이미지 6개를 전부 RADIOv2.5를 돌린 뒤, 다같이 PCA를 통해 3채널로 dimension reduction한 뒤 RGB로 mapping해서 시각화 한 결과다. 쉬운 말로 색깔이 비슷할 수록 해당 위치 ..

Face tracking 할 때 keypoint 68개만 사용하는 경우가 대부분인데, pixel level로 face tracking을 해주는 방법을 만들고 싶었다. 안경, 손, 마스크처럼 얼굴을 가리는 경우에도 놓치지 않는 성능을 내고 싶었는데 결과적으로 잘 만들어진 듯.고개를 90도 돌리는 경우도 잘 된다. 뿌듯. https://tv.kakao.com/channel/10064864/cliplink/452440367

지난 1년 간 많은 변화가 생겼다. 회사도 이직하면서, 오랫동안 고민했던 박사 과정을 병행하게 되었다.  회사에서 다루는 일과 학업에서 다루는 연구가 잘 맞아떨어져 감사하게도 두가지 토끼를 잡을 수 있게 됐다. CV에는 작은 2줄이 변화했을 뿐인데, 의미있는 2줄이 새겨진 듯하다.