CODERNER

Stable-SCore: A Stable Registration-based Framework for 3D Shape Correspondence

침닦는수건 — Tue, 20 Jan 2026 19:51:12 +0900

내 맘대로 Introduction

많고 많은 mesh간의 correspondence를 추정한 다음, registration하는 논문. 간단히 말하면 형상이 다른 mesh를 A->B로 registration하는 방법. 광범위한 correspondence 데이터셋을 활용해서 최적화에 사용할 flow를 뱉어주는 네트워크를 사전에 학습시킨게 핵심이고 뒤에 최적화의 경우 diff-rendering을 사용한 익숙한 방법. 디테일 적으로 NJF를 이용해서 최적화하거나 하는 부분도 좋은 듯.

확실한 prior를 갖고 시작하다보니 기존 방식 대비 왜곡이 적은 것 같다.

메모

전체 파이프라인은 2D correspondence에 강하게 의존한다.

SD-DINO를 기본으로 feature extractor를 만들었는데, 이 네트워크로 MESH를 렌더링한 이미지에서 feature를 뽑음.

feature 끼리 NN 매칭하면 2D correspondence가 나오는 방식.

이게 cue가 되어서 최적화가 도는데, 당연히 이것만 갖고는 다 찌그러짐. 따라서 NJF를 이용해서 강하게 topology 유지를 시키면서 최적화함.

MESH를 30 각도로 렌더링해서 학습에 사용했으며 SD-DINO frozen feature가 1등공신.

correspondence는 NN 매칭으로 얻어짐 <-이게 그렇게 정확하지 않을텐데... 잘되는 걸 보면 NJF가 대단한건지...아니면 학습 데이터 규모가 엄청났던 건지 모르겠다.

3D, 2D correspondence 제공되는 데이터 전부 모아서 학습했고. 카메라 각도는 mesh A, B가 최대한 같도록 유지하면서 학습했다.

feature 퀄리티를 높이기 위해서 CLIP contrasitve loss 사용했고

왼손 오른손 같은 헷갈리는 부분을 위해 geodesic distance 기반으로 loss도 추가함.

이제 최적화.

각 vertex마다 이미지 space에서 얼마나 이동했는지 2d flow를 색상처럼 부여함.

diff rendering하면 이게 앞서 구한 2D correspondence와 domain이 같음. 따라서 loss를 걸어서 둘 간의 거리를 좁히면 점점 vertex가 이동하는 모양이 나옴.

CD, normal loss는 덤

NJF를 사용하므로, face마다 jacobian을 추정하는게 본체인데 결국. 최적화 과정에서 이게 너무 급변하면 망가짐.

따라서 jacobian이 항상 identity에 가깝도록 억제 (잘 안변하도록)

더불어서 face가 많이 찌그러지면 안되므로, face가 rotation위주로 변하도록 jacobian이 jacobian(rotation only)와 같도록 억제한다.

Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes

침닦는수건 — Tue, 20 Jan 2026 19:35:18 +0900

내 맘대로 Introduction

Gaussian-to-Mesh에 속하는 논문인데, 3DGS에는 3DGS->2DGS로 내려찍는 방식으로 하는데 반대로 조금은 느리겠지만 NeRF에서 원래 하던 방식대로 pixel-to-ray를 만들고 ray tracing하면서 3DGS를 적분해나가는 식으로 바꾼 논문. 왜 이 불편함을 감수하느냐. ray 단위로 다시 시선을 바꾼 다음 적분하기 시작하면 NeRF에서 그랬듯 surface를 찾기 쉬워지기 때문이다.

이 논문에서는 3DGS를 학습할 때 surface를 쉽게 찾아 meshing 난이도를 낮추기 위한 loss로 제안하지만 그보다 더 핵심은 어떻게 주어진 3DGS에 NeRF에서 쓰던 ray 단위의 적분을 적용할 것이냐다.

메모

세팅은 일반 3DGS랑 완벽히 동일함.

추가 primitive가 있는 것도 아님.

그래서 꼭 이 논문에서 제안하는 방식으로 학습한 개체가 아니더라도 mesh로 그대로 바꿀 수 있음

핵심은 pixel 단위로 ray를 쏘고 그 과정에서 부딪히는 모든 3DGS를 거리 순서대로 NeRF처럼 적분해서 surface를 찾아내는 것.

3DGS가 2D projection을 통해 가속했던 부분이 사라지므로 속도는 좀 느려짐.

뒤에 나오는데 ray를 따라가다 3DGS에 진입하면 해당 3DGS에서 opacity 값을 뽑아내서 쓰면 되고 (거리 기반으로), 하나 차이점은 3DGS 센터를 넘어갔다면 그때부터는 최대opacity를 계속 뽑아내서 쓴다.

이건 직관적으로 ray가 앞쪽에서 오기 때문에 3DGS를 통과 이후엔 계속 가려짐 효과가 생긴다. 이걸 반영하기 위해서 통과 이후엔 실제 opacity 값이 어떻든 다 최대값으로 한다.

3DGS의 중심은 찾기 쉬우니 계산도 간단.

렌더링을 해서 색상을 얻어내야 할때는 ray 컨셉을 굳이 고수할 이유가 없다. ray 단위로 구현할 부분은 surface를 찾아낼 때 뿐.

따라서 색상을 만들땐 원래 3DGS 방식 그대로 사용한다. projection 방식으로.

아까 했던 얘기랑 똑같은 얘기.

ray를 따라 적분해나가면서 surface를 찾을 것인데, 3DGS 내부의 어떤 점 t를 샘플링했다면 해당 t가 3DGS내에서 갖는 opacity 값을 사용하면된다.

t가 중심을 넘어간 위치라면 최대값으로 뱉어서 이후 계산 과정에서 무의미하도록 만들고.

ray 위의 점 t에 여러 3DGS가 있을 수도 있는데, 이 경우에는 가장 작은 값을 사용했다고 한다.

학습 과정에서는 loss가 몇개 추가되면 위 formulation으로 mesh surface를 뽑아내는데 더 유리한 형태로 수렴한다고 함.

첫번째는 같은 ray상에 있는 gaussian끼리는 중심이 서로 같도록 유도하는 것. 다시 말해 surface에만 3dgs가 있어야 하니까 일단 한 곳으로 모이게 하는 것.

이 때 앞에있는 것과 뒤에있는 것 간의 가중치차이는 있어야 하니 blending weight를 앞에 곱해준다.

----------------
하나 주의할 점은 blending weight도 결국 3DGS primitive로부터 뽑아낸 값이기 때문에 3DGS primitive가 값이 달라질수가 있다. 다른 말로 blending weight로 인해 엄한 3DGS opacity가 높아질수가있다.

따라서 gradient를 끊어줬다.

depth가는데 normal 따라간다고. normal도 loss로 걸어주면 좋음.

근데 이게 좀 어려운게 3DGS는 결국 타원체기 때문에 normal이 고르지 않음. 방사형으로 뻗어나가는 normal을 갖고 있어서 smooth한 normal을 표현하기가 매우 어려움. (달걀을 갖고 평면을 표현하려는 것과 비슷)

그래서 3DGS의 normal을 그대로 사용하면 normal consistency가 큰 도움이 안됨.-> approximation 해서 normal이 도움되도록 변경

1) 3dgs를 타원에서 원으로, 방향도 xyz 같도록 normalize함
2) ray를 법선으로 갖는 plane 생성, 그리고 뒤집기
3) plane's normal을 unnormalize

이렇게 하면 3DGS이 타원체건 말건 결국 ray 진입각, 3dgs의 회전상태에 따라 normal이 결정되므로 normal이 일정하게 표현됨.

마지막으로 densification에서 손을 대는데, 기존에는 position gradient의 크기 기준을 정할 때 그냥 sum이었음.

근데 이건 생각해보면 한 픽셀에 걸리는 gradient가 여러 3DGS에 의해 결정되는데, 하나는 밀고 하나는 당기면 분명 변화가 필요한 픽셀이지만 sum으로 보면 0이기 때문에 변화가 없다.

따라서 sum을 할게 아니라 크기의 sum으로 해야된다는게 저자들의 주장.

결과보면 꽤나 의미가 있는 듯함.

최종 단에서 3DGS to mesh 하는 방법

3DGS 중심, 그리고 이를 둘러싸는 bounding box 점 8개 = 총 9개 point를 각 3DGS마다 생성한다.

그리고 나서 tetra hedral grid 생성하는 알고리즘을 돌림.

이렇게 하면 전체 공간을 둘러싸는 voxel이 아니라 실제 3DGS가 존재하는 공간만 감싸는 불규칙한 tetrahedral grid가 생성됨.

여기다가 marching tetrahedral을 갈기면 mesh가 나온다.

하나 문제는 grid를 형성하고 있는 vertex 중에 3DGS 중심에서 뽑힌 애들은 opacity가 있지만 bounding box 출신들은 opacity 값이 없음.

이를 추출하기 위해서 vertex를 이미지로 내려찍고, 해당하는 픽셀에 개입하는 3DGS를 모은 다음 거리 기반으로 모든 opacity를 계산한 뒤 최솟값을 할당했다고 함.

marching tetrahedral 갈길 때, 그냥 하면 linear 가정으로 하기 때문에 좀 각진 mesh가 나올 수도 있음.

이를 완화하기 위해서 한 edge에서 bineary search 8번, 최대 256개 위치를 뒤지면서 가장 적합한 위치를 찾아서 사용했다고 함.

이건 marching 알고리즘을 정확히 몰라서 이해 못함.

디테일이 많아서 그런지, NeuS보다 좋음. 되게 고무적인듯.

Gsplat 설치할 때 No module named "torch" 뜨는 문제 (torch 설치 이미 되어있음)

침닦는수건 — Mon, 17 Nov 2025 13:51:45 +0900

error: subprocess-exited-with-error

  × Getting requirements to build wheel did not run successfully.
  │ exit code: 1
  ╰─> [22 lines of output]
      Setting MAX_JOBS to 10
      Traceback (most recent call last):
        File "/home/jseob/miniconda3/envs/da3/lib/python3.12/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 389, in <module>
          main()
        File "/home/jseob/miniconda3/envs/da3/lib/python3.12/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 373, in main
          json_out["return_val"] = hook(**hook_input["kwargs"])
                                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
        File "/home/jseob/miniconda3/envs/da3/lib/python3.12/site-packages/pip/_vendor/pyproject_hooks/_in_process/_in_process.py", line 143, in get_requires_for_build_wheel
          return hook(config_settings)
                 ^^^^^^^^^^^^^^^^^^^^^
        File "/tmp/pip-build-env-sbqrwjfo/overlay/lib/python3.12/site-packages/setuptools/build_meta.py", line 331, in get_requires_for_build_wheel
          return self._get_build_requires(config_settings, requirements=[])
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
        File "/tmp/pip-build-env-sbqrwjfo/overlay/lib/python3.12/site-packages/setuptools/build_meta.py", line 301, in _get_build_requires
          self.run_setup()
        File "/tmp/pip-build-env-sbqrwjfo/overlay/lib/python3.12/site-packages/setuptools/build_meta.py", line 512, in run_setup
          super().run_setup(setup_script=setup_script)
        File "/tmp/pip-build-env-sbqrwjfo/overlay/lib/python3.12/site-packages/setuptools/build_meta.py", line 317, in run_setup
          exec(code, locals())
        File "<string>", line 135, in <module>
        File "<string>", line 33, in get_extensions
      ModuleNotFoundError: No module named 'torch'
      [end of output]

  note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed to build 'gsplat' when getting requirements to build wheel

gsplat 설치할 때 위와 같이 뜬금없이 torch 에러를 겪을 일이 있다. 가상 환경에 분명 torch 설치는 잘 되어있고 import도 문제없이 잘 되는 상태인데 반복돼서 까다로웠던 문제.

해결법

pip install ninja

일단 ninja 깔려있는건 확인해야 함. CUDA extension 빌드할 때 ninja가 필요하기 때문에 이게 없으면 에러가 날 수도 있음.

pip install git+https://github.com/nerfstudio-project/gsplat.git@0b4dddf04cb687367602c01196913cde6a743d70 --no-build-isolation

--no-build-islation 태그를 추가해서 설치해줘야 함. 이게 없으면 torch가 어디에 설치되어있는지 못 찾아서 위와 같은 문제가 날 수 있음.

AnyUp : Universal Feature Upsampling

침닦는수건 — Wed, 12 Nov 2025 19:16:21 +0900

내 맘대로 Introduction

이전에 FeatUp이라는 논문을 보고 모델마다 새학습, 샘플마다 새학습 문제로 범용성이 매우 떨어진다고 생각하고 말았는데, 범용성을 개선한 버전이 나왔다. 래퍼런스 논문들을 보니 이 foundation feature 해상도를 높이는 연구가 간간히 되어왔던 것 같긴 하다. 컨셉은 아주 간단하고 어찌보면 가장 쉽게 생각할 수 있는 방식인 것 같다. 구조를 어떤식으로 썼는지와 학습을 안정적으로 한 것에 의미가 좀 더 있는 듯.

메모

해상도, 모델따라 재학습을 최소화한게 장점.

그림이 설명을 너무 잘해서. 그럼보면 끝.

고해상도에서 feature 뽑고 crop한거랑
저해상도에서 feature 뽑고 upsample 한거랑 같도록 함.

cossim + l2로 학습

구조적 핵심은 local feature로도 충분히 upsample이 가능하다는 가정하에 local window attention으로만 처리함.

멀리 있는 feature의 개입을 완전 차단해서 noise를 제거함.

feature dimension이 1024든 768든 다 돌아가게 하려면 나름의 트릭이 필요함.

-> feature channel이 N개면 1개 1개마다 병렬적으로 씌울 수 있는 conv kernel을 학습한다.

각 channel이 독립적으로 local feature를 들고 있다고 가정하고 local feature라면 upsample되는 양상은 어차피 같을 것이므로 conv kernel을 공유해서 사용해도 된다는 논리.

따라서 N channel을 M conv 커널로 처리해서

NxM feature를 뽑고 N 개 방향으로 weighted sum하는 식으로 M으로 줄임

모든 모델의 feature가 M으로 줄여짐.

이렇게 dimension을 맞춘 이후에는 이미지랑 같이 local window attention 으로 처리해서 최종 upsampled feature를 만든다.

cossim하고 l2 loss를 같이 쓰는 식.

특별한 건 없다.

local에 집중해서 처리하면서 noise가 확실히 줄어든 모습. 뭐 데이터를 어떤 걸 썼냐의 차이도 있겠다.

upsampled feature의 성능을 평가하는건 역시 downstream task까지 가봐야하는데. 훨씬 깔끔한 결과로 이어짐.

모델 사이즈가 가변해도 다 통함. 모델 크기가 크나 작으나 통용됨.

튀는 attention이 줄어듦.

Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos

침닦는수건 — Mon, 10 Nov 2025 18:14:51 +0900

내 맘대로 Introduction

동물 논문은 예전에 SMAL 이후로 본 적이 사실 없는데, 그 이후로 그렇게 발전한 것 같진 않다. 데이터가 없을 뿐더러 관심도 낮아서 연구가 그리 많이 안된 느낌. 이해도 가는게 움직이는 개를 어떻게 찍나...그리고 개를 그렇게 많이 모으는 것도 힘들고 털이 많아서 reconstruction도 애초에 안되니 데이터를 모을 수가 없다. (어찌 보면 블루 오션인 것 같기도)

이 논문은 주어진 개 video에서 해당 개랑 가장 닮은 SMAL 파라미터를 뽑아주고, NeRF 컨셉을 이용해서 texture를 발라주는 논문이다. SMAL에 색상을 입히는 방식이기 때문에 정확도가 엄청 높진 않다. 하지만 여태까지 다뤘던 논문 대비는 완성도가 많이 올라간 버전.

핵심은 CSE가 동물 버전도 있다는 것에서 착안해서 CSE 예측값을 fitting의 pseudo GT로 활용하는 것. + SMAL surface 주변에서 국소 NeRF 렌더링으로 texture를 찾아내는 것이다.

메모

기본적으로 딥러닝이 아니라 최적화 프레임워크다.

이미지 + 카메라 포즈 + 마스크 + CSE 예측 결과가 주어졌다고 했을 때 differential rendering 을 통해 SMAL 파라미터를 역추정하는 것이 1단계

1단계가 완료되었을 때 SMAL surface 살짝 안쪽 살짝 바깥 쪽에 surface를 하나 더 만들어 내고 inner<->outer 사이 공간에서의 짧은 ray 에 대해 raidan field technique을 써서 texture를 찾는다.

texture는 고로 NeRF 네트워크가 있어야 됨. texture map이나 vertex color로 찾아지는건 아니다.

shape 파라미터는 공유, 매 프레임마다 pose 파라미터는 각각이다.

CSE랑 SMAL에서 사용하는 topology 차이가 있긴 해서 이 둘을 매칭해주고 나서 사용했음.

좋은 논문의 활용은 시간이 지나도 빛이 바래지 않는다. CSE 재등장..

아무도 관심 갖지 않았던 CSE표현법의 장점.

topology matching만 된다면 꼭 사람이 아닌 형상에 대해서도 surface embedding을 만들 수 있다는 장점.

고로 CSE 동물 버전이 존재하는데, 이걸 가져와서 입력 정보로 같이 썼다.

(테스트 해보니, 모든 프레임에 대해서 성공할 정도로 안정성이 높진 않다. 개를 위에서 찍거나, 개의 뒤를 찍으면 잘 안된다. 예측 실패한 프레임은 버리는 식으로 처리했음)

이제 대망의 텍스처, 사실 geometry가 완벽히 이미지랑 픽셀 레벨로 맞는다면 그냥 texture map 최적화를 하면 끝이지만, 최대한 닮은 SMAL을 얻어낼 뿐이라서 입력과 이격이 꽤 크다. (실제로 큼)

그래서 그냥 최적화 하면 눈이 이상한데 붙어있을 수도 있음

아마 이 문제를 저자들도 겪었는지, 단순 최적화를 포기하고 NeRF로 처리해서 약간의 noise handling을 기대한 것 같다.

개가 요리 조리 온몸비틀기를 하는 와중에 일관된 ray를 생성하는 것은 거의 불가능하니

surface 근처에서 ray는 일정할 거라고 가정한 후 SMAL surface 주변 공간에서만 radience field를 계산했다.
(이론 상 허공에 있는 애는 애초에 개 색깔에 영향을 안주니까 당연하기도 함.)

렌더링한다고 하면 view direction을 따라 내려오다가 outer-inner surface에 부딪히는 위치를 찾아내서 그 사이 값만 갖고 렌더링.

모든 최적화가 그렇듯 초기 글로벌 포즈가 없으면 깨진다.

여기서도 SMAL의 글로벌 포즈만 먼저 매 프레임 피팅을 해둔다.

이건 CSE에서 같이 뽑을 수 있는 keypoint도 있고 CSE map 자체도 있기에 파라미터만 잘 잠궈둔다면 가능.

global pose를 찾아뒀으니 이제 나머지 관절만 relative form으로 최적화 해줬다.

여기서 카메라 포즈는 이미 알고 있다는 가정

사실 이 카메라 포즈를 알고 있다는 가정이 엄청 큰 건데 이게 더 문제될 것 같기도.

개가 돌아다니는 영상을 찍었는데 틈틈히 보이는 것만 갖고 정확한 카메라 포즈를 SfM 푼다는 것이 가능할지... VGGSfM 같은걸 쓰라고 하는데 잘 될까?

1) CSE dense map이 있으니 렌더링된 결과랑 직접 비교

2) CSE 네트워크가 keypoint도 몇개 뱉어주는데 이걸 비교

3) texture까지 포함해서 렌더링했을 때 입력 이미지와 비교

4) 마스크가 비슷하도록 비교

5) SMAL 파라미터가 너무 튀지 않도록 억제.

성능이 안좋아보여도 개가 들어가니 귀여워 보이는 마법.

DualPM: Dual Posed-Canonical Point Maps for 3D Shape and Pose Reconstruction

침닦는수건 — Mon, 10 Nov 2025 17:51:04 +0900

내 맘대로 Introduction

point map representation이 인기를 얻으면서 누군가는 canonical point map을 다룰 것이라고 바로 생각했었는데, 역시나 있다. 정말 naive하게 camera space point를 예측함과 동시에 canonical space point를 픽셀 별로 예측하는 걸 추가한 것. 새로운 formulation 없이 output에 추가되었다는 것은 좀 아쉬운 점. GT가 존재해야만 풀 수 있는 문제이므로, 일반화할 수 없는게 아쉽다. 뭔가 self-supervised 요소를 넣어서 풀었다면 확장이 가능하니까 더 좋았을 것 같은데... 누군가 곧 하겠지

deformed-canonical 구도에서 주 대상은 역사적으로 사람이었는데, 사람은 변화 자유도가 너무 높을 뿐더러 학습시킬 만큼 충분한 4D 데이터셋이 없다. 따라서 사족 동물 synthetic 데이터로 간소화해서 컨셉만 보여준 논문이라고 보면 된다.

메모


	DINOv2 feature로 시작해서, 픽셀 별로 canonical point 먼저 예측하고, 이게 다시 입력으로 들어가서 deformed point를 예측하게되는 순서. 이 때 visible point만 하는게 아니라 occluded point도 다루고 싶어했기 대문에 point를 2N개 예측하도록 했다. (2N인 이유는 들어갔다 나왔다. surface에 2번 부딪힌다는 가정이기 때문)

내용은 진짜 이게 끝이다. multiview image에서 correspondence끼리는 canonical point가 같아야 된다는 건 당연한 사실.

뒤에 이걸 loss로 쓰진 않는다.

canonical Q 먼저 찾고 그걸 입력으로 써서 deformed P 찾고.

GT가 있으니 그냥 l2 loss다.

가려진 점도 추정해야 canonical space가 더 밀도있게 찾아진다.

visible region만 추정하면 deformed space야 잘 찾아지겠지만 반쪽짜리 canonical point가 얻어질 것.

adaptive하게 추정하는 것은 아니고 2N개 를 추가 추정하는 것으로 열어두고 (거리순으로 정렬된 형태로) opacity를 0-1로 같이 추정해서 알아서 도태되도록 설정함.

정말 naive

2N이니까 xyz xyz in out 총 6채널이고 opacity 1개 총 7개값을 예측하도록 설정했다.

데이터는 위에 보다시피 말이다.

사실 좋은 표현법인지는 모르겠다.

curope, RoPE cuda version 설치 실패하는 문제

침닦는수건 — Wed, 5 Nov 2025 16:15:34 +0900

DUST3R 붐의 기저 연구인 CrocoV2 에서 사용하면서 요새 간간히 사용하는게 보이는 RoPE. 속도가 일반 PE보다 느리긴 해서 학습 효율을 위해 CUDA로 구현된 코드가 같이 제공된다. Croco든 dust3r든 human3r인든 같은 코드를 쓰고 설치는 웬만하면 다음과 같이만 안내된다.

cd models/curope/
python setup.py build_ext --inplace
cd ../../

문제는 한 방에 안 될때가 많다는 것. 오류명을 봐도 뭐가 문젠지 몰라서 감을 못잡다가 최근에 우연히 해결했다.

원인

결국 torch 버전 문젠데 torch 버전이 올라가면서 못 따라오는 문제. 내 생각엔 2.6 버전 이후부터 이런 것 같다.

tokens.type()라고 쓰는 문법이 deprecated 돼서 그렇다. 그 return값인 at::DeprecatedTypeProperties도 당연히 없고, 없는 형을 c10::ScalarType으로 변환하라고 하니 터져버리는 것

해결법

kernel.cu 파일에서 한 줄 바꿔주면 된다.

    98        const int N_BLOCKS = B * N; // each block takes care of H*D values
    99        const int SHARED_MEM = sizeof(float) * (D + D/4);
   100    
   101 -      AT_DISPATCH_FLOATING_TYPES_AND_HALF(tokens.type(), "rope_2d_cuda", ([&] {
   101 +      AT_DISPATCH_FLOATING_TYPES_AND_HALF(tokens.scalar_type(), "rope_2d_cuda", ([&] {
   102            rope_2d_cuda_kernel<scalar_t> <<<N_BLOCKS, THREADS_PER_BLOCK, SHARED_MEM>>> (
   103                //tokens.data_ptr<scalar_t>(), 
   104                tokens.packed_accessor32<scalar_t,4,torch::RestrictPtrTraits>(),
   105                pos.data_ptr<int64_t>(),
   106                base, fwd); //, N, H, D );
   107        }));
   108    }

수정 위치를 그냥 복붙하면 위와 같다. 101번째 줄만 바꿔주고 저장한 뒤, 똑같이 설치하면 된다.

ImHead: A Large-scale Implicit Morphable Model for Localized Head Modeling

침닦는수건 — Mon, 27 Oct 2025 18:07:51 +0900

내 맘대로 Introduction

어쩌면 NPHM의 후속작이라고 불릴 수 있을 것 같은데, 약간의 Local controllability를 향상시키고 데이터셋의 범위를 크기 넓혀서 만들었다.

데이터셋을 4000 id 규모로 공개하고 학습에 이용했는데, 직접 스캔한 것을 이렇게 공개했나 하고 대단하다고 생각했었는데 있는 안면부 데이터를 completion해서 사용했다. MimicMe 데이터셋에 NPHM을 피팅해서 사용하는 방식 + 약간의 후처리를 곁들였다.

메모

1. mimicme에서 4000개 subject 20개 expression 얼굴 스캔을 가져옴

2. FLAME fitting해서 좌표계 맞추고 스케일 맞추고.

3. NPHM을 피팅함.

4. NPHM mesh를 얻어낸 다음, 얼굴부만 NICP로 한 번 더 업데이트.

머리통 완성~


	그림만 봐서는 유사해 보이나, NPHM 과의 차이는 local id를 많이 뒀다는 것이다. global id를 local id로 분산시키는 방식으로 구조를 짜서 local id를 교체하는 방식으로 local control을 강화했다.

global id만 쓰면 global id 안에 각종 부분 정보가 aggregation되어 있을테니 당연히 분리가 어려움. control도 어렵고.

따라서 global id는 그대로 쓰되, local id로 쪼개주는 네트워크를 둠.

local id는 각각 개별 local network에 의해 처리되고 local feature로 분리됨.

local id 별로 정보 공유가 아예없기 때문에 앞에 global id to local id의 분리력이 강조됨.

local part는 총 39개로 위 그림에서 보이는 점 위치와 같다.

local feature는 또 해당 local region에 해당하는 keypoint에 relative position encoding된 query와 함께 한 번 더 처리됨

파트 별 f_j가 최종

부수적으로 local id가 들어갔을 때 keypoint 뱉어주는 landmark net도 같이 학습함.

파트 39개 마다 겹치는 영역이 없는게 아니기 때문에 블렌딩이 필요한데 최종 sdf를 블렌딩하는게 아니라 feature level에서 블렌딩한다.

landmark와 query가 떨어진 거리를 weight 삼아 local feature들을 aggregation해서 하나로 뭉쳐주고

decoder가 이걸 sdf로 바꿔줌.

말이 길지만 observation-to-canoncial 즉 표정 있는 상태에서 표정 없는 상태로 보내는 방향의 expression warping이 유리하다는 점을 얘기하는 것

우리가 실제 스캔을 갖고 있고 이걸 모델로 표현하고자 하면 표정이 있는 스캔 데이터를 canonicalize하는 방향임.

네트워크 자체도 입력이 이 방향으로 맞춰져 있어서 스캔을 때려넣고 바로 쓸 수 있어서 좋음.

scan에서 뽑은 query + global id, global expression이 들어가면 displacment vector가 나오는 식.

이걸 scan query에 더해주면 canonical query가 나온다.

학습을 surface point의 SDF만 0으로 만들도록 해서 했다는데 이게 가능한건지 싶다.

전부 다 0으로 가는 식으로 학습될 수도 있으니 off-the-surface point에 sdf를 같이 걸어주곤 하는데 여긴 안 했다고 한다.

이외에는 eikonal loss나 landmark loss 정도 추가하고 학습함.

NPHM보다 잘되는 것은 데이터의 확장이 제일 클 것 같고, local id의 추가라기보단 학습의 완성도 차이일 것 같다.

local id를 분리를 빡세개 하기 때문에 correspondence 가 좀 더 잘 유지되지 않을까 싶다.

Generative Human Geometry Distribution

침닦는수건 — Mon, 27 Oct 2025 17:02:37 +0900

내 맘대로 Introduction

Geometry Distributions 을 준비하면서 동시에 준비한 듯한 논문. 데이터의 표현법을 고민했으니, 이 표현법을 사용해서 뭔가 새로운 시도를 해보고 싶었을 것이다. 그 결과 3D generative model의 새로운 접근을 보여준다. 기존 방식들은 SDF representation을 사용하므로 학습이 굉장히 어렵다. surface point sampling 방식에 따라서, 그리고 네트워크 크기에 따라서 말이다. 저자들이 이전 논문에서 제안한 방식은 학습만 된다면 데이터를 효과적으로 표현하는 대체재를 만들기 때문에 좀 더 효율적인 모델 학습이 가능할 것으로 기대된다.

일단 budget의 한계인지 사람 데이터로 scope를 줄여서 시도했다. objaverse 같은 수억 데이터를 직접 geom distr로 표현해서 뭔가를 시도해보기엔 죽기 전에 안 끝날 것이기 때문에 범위를 확 줄였고, 이미 distribution으로 표현된 데이터군을 선별한 듯 하다.

SMPL로 이미 사람 데이터는 distribution화 되어있으므로, 별도로 geom distr를 scracth부터 학습하지 않고 SMPL distribution+feature을 decoding했을 때 surface point가 나오도록 학습을 한 뒤, feature만 generative model로 바꿔주는 식의 접근을 했다. 다시 말하면 SMPL에 입힐 변형량을 3D gen하는 방식.

메모

flow matching이 대세긴 대세인가 보다.

diffusion model의 한 패러다임인데, 네트워크가 noise만 예측하는 것이 아니라 변형량 자체를 예측하도록 하는 방식.

foward-inverse 추적이 가능함.

일단 데이터의 distribution이 존재하는 사람 데이터로 시작.

SMPL fitting이 완료된 데이터를 SMPL vertex map + feature map으로 변환해서 준비해둔다.

이를 위해서 (a)와 같은 denoiser 이전의 encoder + upsampler가 추가된다.

샘플마다 feature map을 부여하고, 학습 과정에서 샘플 별 feature map이 학습되도록 함.

나중에 이 feature map들만 싹 모아서 diffusion model의 학습 데이터로 이용.

Geom distr는 normal distribution을 source distribution으로 가정했지만 여기선 사람 데이터 distribution이 존재하므로 굳이 normal로 안 쓰고 SMPL distribution을 쓴다.

사람 스캔 데이터 별로 SMPL 피팅이 완료되어있는데 SMPL surface point와 nearest point를 찾아서 매칭을 해둔다.

여기서 smpl surface point는 무한개 뽑을 수 있기 때문에 pair가 사실 상 무한개 일것.

이 때 관찰된 하나의 문제는 nearest 매칭으로만 하고 끝내면 one-to-many matching이 되는데 high frequency 영역에서는 scan의 많은 점들이 하나의 SMPL 점으로 매칭될 것.

같은 값이 많이 학습 과정에서 들어가면 성능이 떨어지므로 매칭된 smpl 점을 살짝 NOISE 줘서 위치를 변화시켜 줌 .

일종의 트릭.

하나 더 surface point를 뽑을텐데, 사람이라는게 몸통은 잘 안움직이고 팔다리가 많이 움직이기 때문에 수치적으로 보면 xyz 중에 몸통 영역 xyz는 샘플이 자주되는 모양이 될테고 팔다리는 샘플이 자주 안되는 모양처럼 보일 것이다.

다시말해 학습에 보여지는 xyz 범위가 너무 뭉친다는 것.

이를 해결하기 위해서 SCAN - SMPL different vector화 한다. 데이터를

변형량+방향을 예측하도록 하므로 이제는 값의 범위가 몸통이건 팔이건 상관없이 비슷비슷해진다. 따라서 안정적인 수치 범위를 확보할 수 있음.

이에 따라 네트워크의 출력도 변형량의 변화량으로 다시 정의됨.

위와 같이 정의해서 한번 학습이 완료되면 이제는 condition을 추가한다.

image나 text, pose, normal condition이 추가될 수 있도록해서 한번 더 학습해준다.

사소한 트릭으로 입력 SMPL vertex map을 넣을 때 뒤에다가 segmentation map이랑 smpl normal map을 같이 넣어줬다고 함.

condition으로 dino feature도 들어감.

데이터 셋은 THHUman이랑 4DDress 썼다고 함.

데이터 규모가 크진 않다. feasibility만 보는 수준.

geom distr representation이 새로운 3D gen 모델에 사용될 수 있음을 이론적을 보인 것이 크고, 아직 성능은 갈 길이 먼 듯 하다.

Nearest matching할 때 SMPL point에 noise를 주는 트릭은 이것 때문일 것 같다.

Geometry Distributions

침닦는수건 — Mon, 27 Oct 2025 16:29:16 +0900

내 맘대로 Introduction

ICCV 2025에 가서 현장에서 본 포스터 중 눈에 띄어서 읽어본 논문. mesh의 surface point를 gaussian distribution으로 압축하고, 나중에 이 distribution만 갖고 다시 mesh surface points를 복원해낼 수 있도록 한 논문. 일종의 새로운 3D 표현법 이면서 압축률까지 가져갈 수 있는 방식. mesh resolution, 처리 가능한 point의 개수, watertightness 등 3D 데이터를 처리할 때 발목을 붙잡는 많은 이슈들이 있는데 그걸 해결해보고자 시도한 방식.

나 또한 메모리가 한정된 상황에서 그리고 데이터마다 퀄리티가 다른 상황에서 이걸 어떻게 동일한 기준으로 encoding하여 사용할 수 있을지 고민 중인데 좋은 insight를 주는 논문이라 생각한다.

다만 읽고 나니 flow matching을 통해 normal distribution과 surface point distribution을 맞추는 방식이라는 걸 알았다. 다시 말해 1개의 데이터를 인코딩하려면 diffusion model 하나급의 학습 리소스가 들어간다는 것.

학습이 완료되었다고 가정한다면 뭐 활용처가 있지만 실제로 이 데이터 1개를 압축하기 위해 A100 4장을 몇십 시간씩 쓴다는게 말이 안되는 듯 하다. 실효성은 그렇게 높지 않지만, 아이디어에 집중해서 봐야 좋을 듯.

데이터가 같은 그룹으로 잘 묶이기만 한다면 범용 모델도 만들 수 있지 않을까 싶다.

메모

기존 방식들이 겪는 해상도를 맘대로 다룰 수 있는지 여부, 그리고 결과적으로 데이터 표현력이 얼마나 좋은지를 강조하며 시작.

chamfer distance만으로 이정도를 학습한 것은 대단한 것 같다.

mesh로 표현된 3D 데이터가 있을 때 이를 하나의 distribution으로 표현할 수 있는가.

mesh vertex,face의 개수와 상관없이 그 형상이 본질적으로 표현하는 모습을 담게 할 수 있는가.

형상을 하나의 distribution이라고 가정하고 normal distribution to 형상 distribution 간의 flow matching, 즉 diffusion process를 학습한다.

그렇다면 normal distr에서 무한히 샘플링한 다음 diffusion했을 때 무한 surface point를 얻을 수 있음.

	distribution to distribution 의 matching으로 접근하는 것. 그리고 네트워크 구조도 단순히 hash grid, MLP로 하면 안되고 적절한 구조가 있다는 것이 핵심.

일단 컨셉을 확실하게 이해시키기 위해 학습은 됐다 치고 distribution to distribution 갖고 어떻게 surface point를 복원해낼 것인지를 설명한다.

그냥 diffusion model이 아니라 flow model로 학습시켰다는 가정이기 때문에 foward-inverse가 추적이 된다. 따라서 normal distribution에서 random sample point를 뽑고, 이를 매 t마다 조금씩 denoise하면서 이동량을 적분한다.

그러면 trajectory가 나오는데 이걸 끝까지 따라가면 최종 surface point에 도착함.

결과적으로 normal distribution에서 원하는 개수의 N sample point를 만들고 diffusion을 계속하면서 적분해주면 surface point N개를 얻을 수 있다.

forward sampling

normal distribution to target distribution 방향으로 적분해나가는 것을 의미함. 실제로는 이것만 자주 쓸 것.

inverse sampling

이걸 실제로 쓰이진 않지만 flow model이기 때문에 구현이 가능함.

어떤 형상이 어떤 모양의 distribution으로 표현되는지 역추적하고 시각화할 때 도움이 됨.

1. surface에서 매번 random sampling

2. noise를 조금 더해줌

3. denoiser가 noise를 맞추도록 수식(5)와 같이 학습

1 epoch에 2.5분 보통 1000epoch 돌리니까 샘플당 2500분이 걸린다 거의 40 시간..........................................................

게다가 A100 4장 쓴다.


학습만 잘 됐다 치면 의도한대로 무한 point 핸들링이 가능하다. 성능도 나름 괜찮고

xyz rgb를 같이 다루면서 학습시키면 색상도 당연히 커버 가능 (이러면 근데 학습 시간도 늘고 모델도 커지므로....)
이론상 다양한 primitives들도 같이 담는게 가능함. distribution은 uniform보다 normal로 사용하는게 잘 됨.

학습 완료된 애를 inverse해서 normal distribution을 얻어보면 실제로 normal 같이 생기진 않음. distribution간 매칭이 완전 1대1 대응으로 이루어지진 않는다는 뜻.
	smooth하게 diffusion 되어가는 모습