CODERNER

textured mesh를 렌더링하는 툴로 요즘 nvdiffrast를 애용하고 있는데, 약간의 버그 아닌 버그를 발견해서 기록해둔다. 일단 nvdiffrast를 굳이 쓰는 이유는 pytorch3d에 수십만 vertex/face mesh를 올린 뒤 렌더링해보면 오류가 난다. face per pixel 즉 rasterize 과정에서 pixel 당 face를 배정하는 과정에서 face가 너무 많기 때문에 터져버리는 문제가 있다. 이걸 heuristic하게 손으로 틀어 맞춰야 하는데 mesh 데이터를 많이 처리하는 입장에서 이게 너무 번거로웠다. 뚜렷하게 몇개의 vertex/face에서 터지는지도 발견 못하기 때문에 pytorch3d는 오로지 저해상도 textured mesh에서만 유용했다. nvdiffras..

끄적끄적진짜 오랜만에 책을 읽었다. 거의 반년 만에 읽은 것 같다. 3월 ICCV를 준비해보겠다고 한 이후로 제일 먼저 손에서 놓은게 책이었다. (그랬음 안됐다.) 한 번 손에서 책을 놓으니 다시 잡는게 참 어려웠고, 특히 논문처럼 지식 전달이 목적이 아닌 책, 소설 같은 것은 읽는 것 자체가 점점 어색해졌다. 여유가 생긴 김에 어렵사리 책을 다시 잡아서 삼체를 마저 읽기 시작했다. 짧은 후기삼체 1이 지구 혹은 삼체 세계(게임)가 주 배경이었다면 삼체2는 우주가 주 배경이다. 삼체 함대의 지구 침략이 400년 남았다는 걸 알아차린 시점에서 지구가 그 예견된 전쟁을 대비하는 과정이 주로 담겨있다. 삼체1에서 등장했던 인물들 중 일부만 다시 등장하고, 나머지는 그저 큰 역사가 흘러가는 과정 중 지구에서 ..

끄적끄적어느 순간 논문을 읽는 것만 집중하게 된 것 같은데 기초 이론에 대한 공부를 소홀히 한 듯하다. 수학을 알아야 쌓아올릴 줄 아는 것인데 벽돌은 어떻게 만드는지도 모르면서 건물 지을 생각부터 하고 있었다. 이해되지 않는 답답함과 불편함을 견디면서 공부하는 시간을 좀 가져야 겠더라. 그래서 Differential geometry를 좀 공부해보기로 했다. 미분기하에 대해선 (무려) 반년 전부터 관심이 있었지만 지금까지 손대지 않았다. 그때 일단 손 대기 시작했으면 하루에 1장씩만 봤어도 벌써 이론서 1권을 뗐을 시간이라고 생각해보니 지금 당장 시작해야겠다. 자료Keenan Crane이 작성한 Discrete differential geometry : an appilied introduction PDF..

내 맘대로 Introduction Implicit Neural Surface Deformation with Explicit Velocity Fields 의 저자랑 동일한 사람이 90% 같은 내용 + 10% 추가 term으로 연달아 CVPR에 낸 논문. 핵심은 modified level set equation으로 형상 간의 interpolation을 질량 보존이 성립하도록 억제하는 것으로 똑같은데, 추가로 surface stretching, shear 같은 표면 형상 변화를 억제하는 loss를 추가한 점이 차이가 있다. vector field를 요리보고 조리봐서 활용할 수 있는 방법을 계속 캐내는 것이 신기할 뿐이다. 메모내가 볼 땐 전혀 중요한게 아니지만, 저자가 말하길 이전 ICLR 논문에서는 spa..

Neural Implicit Surface Evolution 논문에서 level set equation을 이용해 두 형상 간의 interpolation을 implicit function으로 표현했을 경우 얻을 수 있는 이득에 적잖이 놀랐다. 문득, level set equation에서 a(t)로 표현되는 어떤 한 point의 시간에 따른 trajectory가 들어있는 것을 보고,학습이 완료된 상태라면 저 a'(t) (a(t)는 계산 못함) 를 역계산할 수 있을텐데, 그러면 한 위치 x에서 a'(t)를 따라 적분해나간다면 x의 trajectory를 표현할 수 있는거 아닌가? 라는 궁금증이 생겼다. 만약 그게 된다면, geometry A 의 vertex들을 입력으로 넣고 a'(t)를 이용해 trajector..

내 맘대로 Introduction세상엔 똑똑한 사람이 많구나. Neural Implicit Surface Evolution 에서 level-set equation으로 implicit sdf function 간의 interpolation을 GT없이 전개한 것에 감탄하고 수학적 깊이에 후속 연구가 나오긴 시간이 꽤 걸리겠다 싶었는데, 단번에 이 논문의 단점을 지적하면서 개선한 논문이 나왔다. shape matching을 파고드는 뚝심있는 연구실에서 나온 논문이라서 이 역시 수학적 깊이가 남다르다. 역시 내가 모른다고 남도 모르는게 아니다. 이 논문은 기존 implicit function g1, g2 간의 interpolation을 풀 때 가장 문제가 됐던, point tracking이 안된다는 점 + 중간..

내 맘대로 Introduction 개인적으로 좋아하는 연구자인 디즈니 chandran의 2025년 eurographics 논문이다. 근데 이번 논문은 살짝 완성도 측면에서 아쉬운 것 같다. 완성도라기 보단 기존 논문 대비 참신함이 돋보이지 않아서 아쉬웠던 논문? 주어진 arbitrary face scan(topology는 template이랑 똑같음)의 표정을 target template mesh로 옮기는 expression transfer에 대한 논문인데, 사전에 topology를 맞춰서 광범위하게 paired dataset를 만들어 놓고 시작하기 때문에 문제가 너무 쉽다. (unsupervised나 self supervised로 풀었다면 진짜 괴물급 논문이었겠지만...) 핵심 내용도 그냥 shape ..

내 맘대로 Introduction 짧고 굵은 제목에서 느껴지는 힘만큼이나 알찬 내용을 담고 있는 논문. 어떤 application을 고민한 논문이 아니라 수학적으로 implicit surface를 표현하는 function, g를 어떻게 변형할 수 있을지 고민해본 논문. 이미 어떤 형상의 SDF를 표현하도록 학습해둔 implicit function, g이 있다고 했을 때 우리는 그대로 쓰는 것 밖에 못한다. implicit function이 아닌 mesh 표현법을 택했다면 smoothing, simplification 등 후가공이 가능했을텐데, implicit function으로 표현한 순간 변형이 불가능하기 때문에 고정된 형상 표현법이라고 가정하곤 했다. 저자들은 g가 주어졌을 때 geometry에 부..

내 맘대로 Introduction 캬~ 진정한 의미의 3DGS 파생 연구가 나온 것 같다. 3DGS의 활용이 아니라 3DGS의 개선을 고민한 논문인데 단순히 3DGS가 사용한 방법론의 단점을 개선한 수준이 아니라 3DGS 의 컨셉 자체의 단점을 개선한 레벨이라 보다 깊은 논문이다. 개인적으로 굉장히 좋은 논문이라고 생각한다. 학술적으로, 수학적으로 의미가 짙은 논문이라 찐 논문인 것 같다. 핵심은 언제나 bell shape을 유지할 수 밖에 없는, 그리고 범위가 (-inf, inf)로 열린 공간이 Gaussian kernel을 갖고는 flat, sharp geometry를 표현하는 것이 어려울 수 밖에 없다는 문제를 지적하며, bell shape 이상의 모양 자유도를 갖고 [0,1] bound인 beta..

내 맘대로 Introduction 개쩌는 논문을 하나 또 발견한 것 같다. 성능이 개쩐다는 것이 아니라 파급력 측면에서 정말 파격적인 논문인 것 같다. 얼마나 많은 후속 연구가 나올지... 또 얼마나 많은 돈과 전기를 쓰게 될지 궁금하다. 요약하자면, 서로 다른 LLM 간의 embedding space를 GT 없이도 matching 할 수 있다는 것을 밝혔다. 예를 들면, GPT4에 어떤 입력을 넣어서 얻은 embedding이 있다고 쳤을 때, 이 값을 해석하려면 다시 GPU4 decoder가 필요했다. 하지만 이제는 GPT4 embedding을 DeepSeek embedding으로 변환할 수 있게 됐기 때문에 DeepSeek decoder가 있어도 값을 해석할 수 있다. 멋지지만 동시에 두렵다;; e..