CODERNER

내 맘대로 Introduction 이 논문도 Meta 에서 나온 논문인데 query point 위치를 주어진 video sequence 내내 tracking 하는 논문. arbitrary 2D point 입력을 받을 수 있는 구조인데 transformer로 구현되어 있어서 사실 상 N개의 지정 위치를 동시에 tracking할 수 있다. 사용해본 결과, 성능이 엄청 좋고 학습 시에 사용한 synthetic dataset이 사람과 동물을 다수 포함하고 있기 때문에 지형, 지물 뿐만 아니라 사람도 잘한다. close-up face도 잘됨. query point feature를 처음 첫 프레임에서 뽑아서 learnable로 계속 열어두고, 각 프레임마다 query point feature + 현재 예측 상태의 ..

내 맘대로 Introduction 논문 ETCH 에서 핵심으로 인용했던 SE3 equivariant network의 본체다. point cloud는 이미지랑 달리 3차원에 존재하기 때문에 rotation, translation이 발생할 수 있고, 이에 따라 point feature가 다르게 뽑히는 문제가 있다. 이를 해결하기 위해서 주어진 point cloud에서 feature를 뽑을 때, 어떻게 회전/이동 상태에 상관없이 feature를 뽑을 수 있을지 고민한 논문.  pinscreen에서 쓴 논문으로, 이전에 6D rotation representation을 소개한 논문도 그렇고 3차원 회전을 다루는데 진심인 그룹 같다. 이 논문도 어떤 실용성, 우수성보다 수학적 전개를 중심으로 하는 논문이라서 더 ..

내 맘대로 Introduction Neural ICP랑 결이 비슷하긴 하지만 주어진 SCAN에 딱맞는 registration level의 SMPL를 얻는 것이 아니라, 옷 내부에 있는 skinned body만 얻어내는 논문. 어찌 보면 SMPL 표현력에 딱 맞는 최대 fitting을 찾는 논문이라 볼 수 있겠다. 옷으로 인한 displacement는 애초에 SMPL로 찾는 것이 문제기도 하니까.outer surface를 SMPL로 찾는 것이 맞는 문제인가? 라고 보여주면서 문제 정의 확실하게 하고 시작함. 주어진 각 SCAN point, x에 대해 가장 가까운 SMPL point를 찾아내는 컨셉. NICP랑 방향이 반대라고 할 수 있다.  이 논문은 조금 배경 지식이 필요했다. 각 3D point의 fe..

내 맘대로 Introduction Meta가 요즘 Visual geometry group이랑 연구를 활발히 하는 것 같은데, 아무튼 meta에서 DUST3R와 결을 같이 하는 3D geometry estimation 논문을 공개했다. 아카이브 공개가 3월 14일이니 일주일도 안된 논문. head에 따라 camera parameter, point map, depth map, feature point 등 동시에 예측할 수 있고, 수백장을 동시처리하는 성능을 보인다고 한다. 핵심은 DUST3R와 거의 유사하지만, backbone을 transformer 1개로 묶어버림으로써 N장 처리 능력을 확보하고, 어떤 구조가 좋을지 고민했다는 점이 차이점. 메모이미지 N장을 DINOv2를 통해 token화 하고 입력으로..

내 맘대로 Introduction RGB-D multiview video 셋업에서 tracked 3DGS 복원하는 논문. tracking이 꼈다는 것은 당연히 dynamic 시나리오. 보통 sequence를 다룰 때 이전 프레임에서 초기화한 mesh(혹은 3DGS) topology가 변하지 않는다는 가정 하에 다음 프레임에서 correspondence를 찾아가는 방식이지만, 이 논문은 다음 프레임에서 topology가 변할 수 있음을 추가한 것이 눈에 띈다.  예를 들어, 첫 프레임에서 모자를 쓰고 있었다가 어느 프레임에서 모자를 벗었다면, 모자로 가려졌던 부분은 기존 topology로 아무리 매칭을 해본들 없던 부분이라 못 찾는다. 이런 문제를 짚으면서 topology가 변해야 하는 부분을 인식하고 해..

Face tracking 할 때 keypoint 68개만 사용하는 경우가 대부분인데, pixel level로 face tracking을 해주는 방법을 만들고 싶었다. 안경, 손, 마스크처럼 얼굴을 가리는 경우에도 놓치지 않는 성능을 내고 싶었는데 결과적으로 잘 만들어진 듯.고개를 90도 돌리는 경우도 잘 된다. 뿌듯. https://tv.kakao.com/channel/10064864/cliplink/452440367

triangle_hash.cpp:1253:10: fatal error: numpy/arrayobject.h: No such file or directory 1253 | #include "numpy/arrayobject.h" | ^~~~~~~~~~~~~~~~~~~~~compilation terminated.error: command '/usr/bin/g++' failed with exit code 1 최근 voxelize하는 cpp module을 컴파일하던 도중에 numpy를 못찾는 문제가 발생했다. 검색해보면 numpy 버전 문제를 언급하는 경우가 많은데, 버전 교체로 효과를 못봐서 조금 고생했다.  해결법은 명시적으로 numpy 어딨다고 export 해주면 된다.  해결법imp..

짧은 후기요즘 유튜브나 각종 강의 영상에서 자주 보이는 노년내과 의사가 쓴 책이다. 어떻게 천천히 늙느냐에 대해 연구나 데이터를 기반으로 설명해주는 책이다 보니 재미없다고 느껴질 수도 있는데 재미로 읽을 책이 애초에 아니다. 정확히 이해하고 음식을 고르고 자세를 고치고 운동할 때 떠올릴 수 있도록 숙지한다면 좋을 내용이다. 어느 시점에선가 저속 노화라는 키워드가 유행하더니 이제는 자연스럽게 느껴질 정도인데, 생각보다 그 비법은 간단한 것 같다. 딱 봐도 건강해보이게 먹고 딱 봐도 바르게 앉고 딱 봐도 규칙적으로 살면 된다는 것. 여기서 건강해보인다라고 판단하기 위한 지식을 갖추는데 이 책이 꽤나 도움을 주는 듯 하다. 이름은 건강해보이지만 실제로 아침엔 독인 요거트, 몸에 좋다고 챙겨먹지만 류신이 많..

끄적끄적요즘은 부쩍 서점이나 밀리의 서재에 들어가보면 사람들의 마음을 달래주는 책이 인기인 것 같다. 이 책 역시 베스트 셀러에 오른 책 중 하나로 제목부터 위로에 초점을 두고 쓴 책임을 알 수 있다. 요즘 단기 몇 달 극심한 사회적 스트레스가 생기기도 했고 장기 몇 년 동안도 불안과 혐오로 물든 시기였기에, 사람들의 마음이 많이 지친 상태인 것이 이런 책을 펼치는 횟수에 나타난 것 같다.  짧은 후기이제는 작가가 하는 말이 무엇인지 말하거나 읽지 않아도 알 수 있을 정도로 혼자서도 제목과 같은 생각을 할 수 있는 나이가 되었다. 아직 젊지만 나이를 점점 먹으면서 학생에서 벗어난 순간부터 느끼기 시작한 사실이 평범하게 살기 참 어렵다는 사실이다. 남들이 말하는 평범이 생각보다 이루기 어려운 것이고, 설령..

짧은 평제목에 사용된 문장이 한 때 유행처럼 번진 적이 있어서 익숙하고, 무슨 이야기를 할 지 예상이 어느정도 되는 책. 내 감정을 오롯이 이해하고 메타인지가 가능해져야 기분에 잠식되지 않고 항상 합리적인 태도를 유지할 수 있다는 내용이다.  내용 자체는 역시나 들어봤을 법한 혹은 누구나 생각으로는 해봤을 법한 이야기지만 이 책은 그렇게 읽으면 안된다. 뻔한 소리라고 평가하듯이 읽거나 무언가 진리가 숨어있을 것이라고 기대하면서 읽지 말고, 다정한 말을 나에게 들려준다는 마음가짐으로 읽는게 좋은 책이다.