CODERNER

Shape Transformers: Topology-Independent 3D Shape Models Using Transformers

내 맘대로 Introduction deformable mesh는 보통 template mesh에서 출발한다. 그 말인 즉, topology가 맨 처음 설계 당시에 정해지면 끝까지 모든 mesh가 같은 topology를 따라간다는 뜻이다. 한 번 topology가 고정되면 설령 같은 대상을 표현하는 mesh라도 서로 비교가 불가능해지는 문제가 있다. 예를 들어, 사람 1명 SCAN에 서로 다른 topology를 가진 mesh를 fitting했다면 결과물은 거의 동일하겠지만 topology가 다르므로 두 mesh는 비교하기가 어렵다. 어느 vertex가 어느 vertex와 대응되는지, normal을 비슷한지 비교할 수 없다. 이 논문은 이러한 문제점을 푸는 하나의 방법을 제시한다. 3D SCAN을 공통으로 ..

Continuous Landmark Detection with 3D Queries

내 맘대로 Introduction 디즈니 리서치에 있는 chandran 이라는 사람 논문. 이전 Anatomically Constrained Implicit Face Models 논문 보고 되게 자유롭게 생각하는 능력도 뛰어나고, 구현력도 뛰어난 사람이라는 생각이 들었는데 다른 논문들도 아이디어나 완성도가 엄청 빛나는 논문들이라서 반했다. 2023년, 2024년 논문을 폭발적으로 쏟아내고 있는데 이 속도로 이 정도 완성도 논문을 쓴다는 것이 경이로울 정도다. 앞으로 이 저자의 논문 전부를 읽어볼 예정인데, 가장 먼저 잡힌 논문 이 논문의 아이디어도 엄청 빛난다. face keypoint detection은 고일 대로 고인 분야여서 더 이상 연구 분야로 잡기엔 정말 박터지는 분야인데, 성능을 끌어올리는 것..

Anatomically Constrained Implicit Face Models

내 맘대로 Introduction 이 논문은 FLAME, Faceverse와 비슷하게, Face mesh 모델을 제안한 논문인데 약간 컨셉 차이가 있다. 모든 인물에게 전반적으로 사용 가능한 face mesh 모델이 아니라 사람 1명에 국한된 face mesh 모델을 만드는 방법을 제안했다. 대상 범위를 1명으로 줄이면서 그 보상안으로 표현력을 대폭 끌어올리는 것이 이 논문에서 보여주는 장점이다.  개개인 얼굴에는 다른 사람과 다른 고유 근육의 움직임들이 있는데, 그 디테일을 표현하기에는 확실히 사람마다 모델을 들고 있는게 좋다. 실제로 영화 산업 같은데서도 배우 별로 따로 복원해서 쓴다고 한다. 따라서 컨셉 자체는 reasonable 하다. 얼굴을 변형할 때 기준이 될 수 있는 가장 큰 단서는 얼굴 아..

내 맘대로 Introduction 2022년 Diffusion을 활용하기 전 VTON 논문으로 이제는 오래됐다고 (2년 지났지만...) 볼 만한 논문. 하지만 2023년 GP-VTON도 그렇고 flow를 활용한 VTON 논문만이 갖는 장점을 확실히 있는 것 같다. Diffusion model이 아무리 잘 만든다 한들 사전 학습된 latent space로부터 최대한 유사한 이미지를 만들어내는 방식이다 보니 입력과 멀어지는 경우가 종종 있는데 flow는 입력을 직접 활용하는 방법이다 보니 확실히 장점이 있다. 단순 기록용으로 적는다. 메모문제 정의는 똑같고, 핵심 아이디어는 1) semantic information 잔뜩 먹고 사전 학습된 flow 기반 네트워크를 teacher로 두고, semantic in..

이미지 파일을 읽을 때 opencv 혹은 PIL을 쓴다. 두 라이브러리의 기능적 차이는 없다만 경험적으로 보면 읽는 속도와 쓰는 속도가 다름을 알 수 있다. 상황에 따라서 opencv가 효율적일 때도, PIL이 효율적일 때도 있는데 각각 어떤 상황인지 파악해두었다. 왜 차이가 발생하는지 알 수 있는 경우는 이유도 같이 적는다. 이미지 읽기확장자가 PNG일 때 : opencv 써야 빠르다.cv2.imread/imwrite가 훨씬 빠르다. meta 정보를 포함한 DSLR 12MB 이미지의 경우, 10초 가량 차이가 날 때도 있다. 차이가 적을 땐 적지만 클 땐 10배도 난다. 웬만하면 opencv로 png 읽자.확장자가 JPG일 때 : PIL 써야 빠르다.Image.open으로 읽는 것이 약 2배 빠르다. ..

내 맘대로 Introduction FLAME 다음으로 동양인 버전 parametric face model이다. 생성 방식은 똑같이 3D SCAN 뜨고 나서 template model, non-rigid ICP -> PCA 순서지만, 뒤에 StyleGAN을 붙여서 detailed mesh로 업그레이드 할 수 있도록 했다. 다시 말하면 기존 모델 + 업그레이드 네트워크를 같이 제공하는 셈. 따라서 요구 정확도에 따라 기존처럼 그냥 PCA 기반 모델로 끝내도 되고 더 필요하다면 뒤 네트워크까지 통과시키고 쓰면 된다.  개인적으로 생성 방식에 contribution이 있다기보다 동양인을 이용해 만든 모델이라는 것이 의미가 있고 생각한다. FLAME이나 BFM 같은 모델들이 서양일 얼굴 스캔으로 만들었다 보니 동..

책을 더 읽자. (2023.03.17)책을 잘 골라 읽자. (2023.07.03)책 느낌이 별로면 중간 멈추자. (2023.09.18)책 굳이 종이 책 살 필요없다. ebook 사자. (2023.09.20)책도 질릴 때가 있다. 쉬다가 다시 읽자. (2023.12.03)책은 쉬기보다 재밌는 책으로라도 계속 읽는게 낫다. (2024.01.31)책 여러 권을 돌려가면서 읽는 것도 괜찮다. (2024.03.21) 읽을 책나는 희망의 증거가 되고 싶다 - 서진규The Little Big Things - 톰 피터스NAVAL의 가르침 - Naval Ravikant세븐이브스 - 닐 스티븐슨완전히 자동화된 화려한 공산주의 - 아론 바스타니소유냐 존재냐 - 에리히 프롬생각에 관한 생각 - 다니엘 카네만소비의 사회 - 장..

끄적끄적한동안 회사도 옮기고 바뀐 생활 패턴에 적응하느라 책을 딱히 손에 잡지 않았었는데, 지하철에서 틈틈히 읽던 책을 이제야 다 읽었다. 책이 그래도 괜찮은 책이어서 끝까지 읽었지, 하마터면 그냥 책 안 읽었을 법한 시기였다. 이제 다시 읽어야지 짧은 평이 책은 제목에서 느껴지듯이 투자 책이다. 근데 여느 투자 책들과 달리 좀 깊은 책이다. 사골 국물 같은 책이랄까. 투자도 투잔데 그냥 어떻게 돈을 바라봐야 할지 그 시선, 삶을 어떻게 살아야 할지 그 태도를 더 많이 설명하는 책이다. 돈, 돈, 돈하는 책보다 오히려 더 와닿고 마음에 새기게 되는 책. 책에서 말하는 메세지는 하나다. 돈을 이해한다는 것은 결국 사람을 이해한다는 것. 여기서 사람은 나와 타인을 모두 포함하는 말인데,  먼저 나라는 사람이..

내 맘대로 Introduction point cloud to mesh 알고리즘. 어떻게 보면 poisson recon이라고 볼 수 있겠지만, point 중 버릴 건 버리고 어떻게 face를 형성해야 "실제 사람이 만든 mesh"처럼 만들어질 지 학습한 논문이다. 실제 사람이 만든 mesh의 경우, face가 과도하게 많지 않고 단순할 곳은 단순하게 자세할 곳은 자세하게 조절된 형태다.  주어진 어지러운 point cloud에서 모든 point를 face로 묶어내는 것이 아니라 선별적으로 묶어서 vertex 수는 적지만 표현력이 뛰어난 mesh로 정리해내는게 주 목적이다.  핵심 아이디어는 Objaverse, shapenet처럼 대규모 mesh 데이터로부터 평균적인 face 형성 규칙을 학습시킨 VAE를 ..

내 맘대로 Introduction face 같이 geometry가 body나 cloth처럼 자유도가 그리 높지 않은 경우에는 blendshape이라는 기법으로 deformation space를 표현한다고 한다. (나도 blendshape이 뭔지 이번에 처음 알았다.) 대략 PCA의 eigenvector와 같이 deformation space를 표현할 때 핵심이 되는 방향을 찾아두고, 실제 변형을 할 때도 PCA 후 eigenvalue 바꿔가면서 원복 하듯이 하는 방식이라고 한다. 다시 말하면, 다양한 표정 (eigenvector 급) 을 미리 복원해두고 (표정 간에는 vertex tracking되도록) 실제로 deformation할 때는 이 표정을 섞어서 만드는 방식이다. 화난 표정 + 무표정 == 덜 ..