CODERNER

COLMAP이 엄청 좋긴 한데, dense pointcloud를 얻어내고자 할 때는 아쉬운 점이 많다. 어찌 됐건 classic feature matching 기반으로 돌기 때문에 textureless region에서 pointcloud가 통째로 없는건 어쩔 수 없고 MVS까지 돌린다 해도 시간이 너무 오래 걸린다. Metashape에서 만든 Agisoft가 엄청 빠르고 전반적으로 잘되지만 엄청나게 큰 단점. precalibrated camera를 넣는게 거의 불가능하다. 왜 그런지 모르겠는데 미리 camera, sensor 등등 다 설정하고 온갖 fixed=True로 바꿔도 돌리고 나면 지혼자 값이 바뀌어있다. 결과물은 또 잘 나오는데 카메라 포즈랑은 안 맞는 기현상까지 보인다. 이건 개발 단계에서 ..

Neural Implicit Surface Evolution 논문에서 level set equation을 이용해 두 형상 간의 interpolation을 implicit function으로 표현했을 경우 얻을 수 있는 이득에 적잖이 놀랐다. 문득, level set equation에서 a(t)로 표현되는 어떤 한 point의 시간에 따른 trajectory가 들어있는 것을 보고,학습이 완료된 상태라면 저 a'(t) (a(t)는 계산 못함) 를 역계산할 수 있을텐데, 그러면 한 위치 x에서 a'(t)를 따라 적분해나간다면 x의 trajectory를 표현할 수 있는거 아닌가? 라는 궁금증이 생겼다. 만약 그게 된다면, geometry A 의 vertex들을 입력으로 넣고 a'(t)를 이용해 trajector..

3D mesh를 다룰 떄 laplacian loss로 regularization을 가하는 것은 기본적인 규칙이 되어버렸는데, Large Steps in Inverse Rendering of Geometry 에서 제안한 방법이 더 좋아보였다. SIGGRAPH에 나온 논문이기도 하니까... https://github.com/rgl-epfl/large-steps-pytorch GitHub - rgl-epfl/large-steps-pytorch: Implementation of "Large Steps in Inverse Rendering of Geometry"Implementation of "Large Steps in Inverse Rendering of Geometry" - rgl-epfl/large-step..

Motivationbody mesh하면 SMPL, Head mesh하면 FLAME 사실 사람과 관련된 template mesh model은 MPI가 독점하고 있다. 초창기에는 성능 때문에, 요즘에는 대규모 커뮤니티를 통해 검증/발전되었기 때문에 이것들만 쓴다. 나 역시 많이 써보았고, 자체 완성도와 녹아있는 노하우들에 감탄할 때가 많다. 하지만 종종 서양인에 맞추어진 표현력이 아쉬울 때도 많았다. 대규모 3D SCAN을 사용해서 만든 FLAME이라고는 하지만 대상이 유럽인이 대부분이기 때문에 서양인 얼굴 형태에 bias가 들어있다. 그 결과 낮은 콧대나 옆으로 넓은 얼굴에 대한 표현력이 상당히 아쉽다. Introduction그래서 내가 모아서 전처리해둔 모든 데이터들을 모아서 Head template..

https://huggingface.co/datasets/polygom-team/2K2K polygom-team/2K2K · Datasets at Hugging FaceYou need to agree to share your contact information to access this dataset This repository is publicly accessible, but you have to accept the conditions to access its files and content. The dataset is encrypted to prevent unauthorized access. Please fill ohuggingface.co CVPR 2023 High-fidelity 3D Human ..

https://sanghunhan92.github.io/conference/2K2K/ High-fidelity 3D Human Digitization from Single 2K Resolution Images | Project PageAbstract High-quality 3D human body reconstruction requires high-fidelity and large-scale training data and appropriate network design that effectively exploits the high-resolution input images. To tackle these problems, we propose a simple yet effective 3sanghunhan9..

https://github.com/NVlabs/RADIO GitHub - NVlabs/RADIO: Official repository for "AM-RADIO: Reduce All Domains Into One"Official repository for "AM-RADIO: Reduce All Domains Into One" - NVlabs/RADIOgithub.com 궁극의 vision foundation model이 나온 것 같아서 직접 feature를 뽑아서 관찰해봤다. 결과 위 결과는 입력 이미지 6개를 전부 RADIOv2.5를 돌린 뒤, 다같이 PCA를 통해 3채널로 dimension reduction한 뒤 RGB로 mapping해서 시각화 한 결과다. 쉬운 말로 색깔이 비슷할 수록 해당 위치 ..

Face tracking 할 때 keypoint 68개만 사용하는 경우가 대부분인데, pixel level로 face tracking을 해주는 방법을 만들고 싶었다. 안경, 손, 마스크처럼 얼굴을 가리는 경우에도 놓치지 않는 성능을 내고 싶었는데 결과적으로 잘 만들어진 듯.고개를 90도 돌리는 경우도 잘 된다. 뿌듯. https://tv.kakao.com/channel/10064864/cliplink/452440367

지난 1년 간 많은 변화가 생겼다. 회사도 이직하면서, 오랫동안 고민했던 박사 과정을 병행하게 되었다.  회사에서 다루는 일과 학업에서 다루는 연구가 잘 맞아떨어져 감사하게도 두가지 토끼를 잡을 수 있게 됐다. CV에는 작은 2줄이 변화했을 뿐인데, 의미있는 2줄이 새겨진 듯하다.

github.io를 이용해 개인 웹사이트를 하나 만들었다. 소개 자료를 PPT나 PDF로 만들었더니 접근성이 아쉬워서 공개된 형태로 하나 제작했다. http://jseobyun.github.io jseobyun.github.io About me Hello, I’m Jongseob Yun. Thanks to visit this page! I’ve focused on computer vision and computer graphics that handle human stuffs(face, body pose/shape) and 3D geometric tasks (SfM, MVS, surface reconstruction, neural rendering). I am current jseobyun.github.io