전체 글 557

Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture

내 맘대로 Introduction Multiview video -> uniform topology Gaussian Mesh per frame 논문. 캘리브레이션/싱크 완벽한 카메라 세팅에서 찍은 비디오가 준비된 상황에서 첫 프레임만 MVS+Registration으로 gaussian mesh 초기화하고 이후부터는 tracking 하듯이 움직여서 나머지 프레임을 찾는 방식이다.  기존 방식이 매프레임 registration하고 나서 tracking하는 방식인데 첫프레임만 그렇게 하고 나머지는 최적화로 풀어서 속도가 빠르다는 것도 contribution으로 가져간다.  핵심이 되는 내용은 안정적으로 GS를 매 프레임 최적화할 수 있도록 넣은 scale loss, prior loss 들이다. 마지막에 3DGS ..

Paper/Human 2024.12.26

생각의 연금술

끄적끄적책이 담고자 했던 내용은 결국 제임스 알렌이 쓴 수많은 저서의 내용이지만, 다른 사람의 생각과 말을 거쳐 압축되어 만들어지다 보니 제임스 알렌의 생각을 듣는 느낌의 책은 솔직히 아니었다. 하와이 대저택이라는 사람의 이야기를 듣는다고 생각하는게 낫다.  짧은 평핵심은 책 전체에 걸쳐 하나다. 생각을 통제하라. 머리 속에서 일어나는 생각을 "생각==나" 라고 곧이 곧대로 인식하기 보다 객관적으로 바라보고 되도록 에너지 넘치는 방향으로 업데이트하라는 내용이다. 생각이 행동과 말을 만들고, 행동과 말이 내가 처한 주변 환경을 바꾸고 인생을 바꾸니, 시작점이 되는 생각부터 섬세하게 하라는 것이다.  예전이었다면 그럴싸한 소리하네 라고 치부했겠지만 요즘은 이 책을 읽기 전부터 내가 어떻게 생각하고 여기느냐가..

Book/Mind 2024.12.25

불안 사회 (왜 우리는 희망하는 법을 잃어버렸나?)

짧은 평제목에서 느낄 수 있다시피 철학적인 내용을 담은 책이다. 초반에는 저자의 말소리로 불안과 희망을 소개하고 중후반부에는 먼 철학자들의 이야기들을 가져와 소개한다. 이전에 알랭 드 보통의 "불안"이라는 책을 읽었을 때와 비슷한 이야기를 하는 듯 한데, 마찬가지로 이해가 쉽진 않았다. 오랜 시간 철학가들이 사유해서 정리한 이론이나 내용을 단 인용구 몇 줄만으로 이해하는 것 자체가 애초에 어려운데 인용구가 한 두 구절 등장하는 것이 아니기 때문에 사실 배경 지식이 없다면 100% 이해할 수 있는 사람이 얼마나 있을까 싶기도 하다. 아니면 책을 붙잡고 스스로 꼭꼭 씹어먹으려고 오랜 시간을 투자해야 가능할 것 같다.  50%도 안되는 이해 속에서 내가 느낀 점은 생각보다 불안을 느끼는 상태가 가볍지 않다는 ..

Book/Mind 2024.12.25

Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures

내 맘대로 Introduction 이 논문은 Preface ++이라고 봐도 무방하다. 저자 라인도 똑같고 데이터도 똑같으며, 약간의 차이는 learnable latent가 함축해야 되는 정보량을 줄이고 decouple해서 성능을 조금 더 올리고 animatable하게 바꿨다는 점이다.  많은 사람 이미지로 학습시킨 NeRF prior model을 기반으로 few shot neural rendering을 잘하자는 논문. 메모그림만 봐도 preface와 거의 동일하다는 걸 볼 수 있음기존 preface에서 per-subject latent code W 하나만 conditional으로 제공해서 prior NeRF를 학습시켰다면caface에서는 per-suject identity code, expression ..

Paper/3D vision 2024.12.23

NICP: Neural ICP for 3D Human Registration at Scale

내 맘대로 Introduction Neural ICP라는 이름에서 바로 느낌 오듯이 기존 ICP 알고리즘에서 distance measure를 neural net으로 대체한 논문이다. euclidean distance로 nearest-neighbor를 찾아 거리를 좁히는 방식인데, nearest match가 잘되었을 때만 효과적이고 잘못되었을 때는 완전히 망가지는 방식이기 때문에 network가 semantic 정보를 기반으로 무조건적 nearest를 좀 걸러주길 기대하는 방식. ICP도 그렇듯 초기화가 굉장히 성능을 좌지우지하는데, 이 역시 아무리 network를 쓴다고 해도 target shape에서 크게 벗어난 초기값에서 시작하는 것을 무리다. 그래서 기존 방식을 stage 1으로 붙이고 제안하는 방..

Paper/Human 2024.12.23

이토록 사소한 것들

끄적끄적제목만 보고 뭔가 살아가면서 사소한 것들을 잊지 말자는 그런 얘긴 줄 알았는데, 최근 개봉한 영화의 원작 소설로 아일랜드의 실제 막달레나 세탁소 이야기를 담은 소설이라고 했다. 처음에 모르고 읽었을 때는 그냥 소소하게 딸두고 살아가는 아버지의 일상을 담은 소설인 줄 알았는데 후반부에 뭔가 급격히 분위기가 반전되는 것을 보고 뭔가 내가 잘못 알았구나 싶었다. 그래서 찾아보니 막달레나 세탁소 이야기는 꽤나 참혹하고 잔인한 역사적 사실이어서 더 놀랐다.  짧은 평막달레나 세탁소는 18세기~20세기 거의 200년에 달하는 기간 동안 아일랜드 정부가 가톨릭 교회랑 협약을 맺고 타락한 여성들을 정화한다는, 마녀 사냥 같은, 명목 하에 생긴 시설이라고 한다. 거의 9000명에 달하는 여아들이 죽은 공간이고 이..

Book/Fun 2024.12.18

쓸 만한 인간

짧은 평서두에 작가 본인이 언급하길 이렇게 다듬어 지지 않은 글을 처음 읽을 수도 있다라고 말하는데, 진짜였다. 산문이라는 것이 원래 일기를 적 듯, 자기의 사색을 적 듯하는 자유 형식의 글이지만 이 책은 정말 자유분방함 그 자체였다. 좋게 말하면 글쓰기를 좋아하는 누군가의 일기장을 엿본 느낌이고 나쁘게 말하면 무슨 말을 하는지 모르겠는 글을 읽은 느낌이다.  출근길 지루함을 달래는 정도로 보았기 때문에 크게 나쁘지는 않았으나, 베스트 셀러까지 올라갈 내용인지는 사실 잘 모르겠다. 울림이 크거나 생각의 깊이에 감탄하게 되는 내용은 작가가 말했 듯 없다. 박정민이라는 배우가 궁금해서, 여태껏 연기했던 캐릭터 이면에 배우 그 자체의 캐릭터는 어떤지 엿보고 싶어서 접하면 좋을 책이다.

Book/Fun 2024.12.15

GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views

내 맘대로 Introduction 3DGS로부터 어떻게 mesh를 얻을 수 있을지 고민한 논문. baseline을 SuGaR로 잡은 만큼 어떤 방법론으로 Mesh를 만들었을지 굉장히 궁금했다. 약간의 아쉽게도 내용은 3DGS 복원 -> stereo view 렌더링 -> 별도로 feature matching 후 depthmap building -> TSDF recon 이다.  3DGS를 알고리즘적으로 변형했다기 보다 잘 학습된 3DGS로부터 stereo 이미지를 얻어서 시점 별 depth를 얻어낸다는, 어떻게 보면 활용에 관한 논문이라고 볼 수 있다.  stereo view 렌더링부터, 데이터 정리 feature matching, depthmap building, TSDF fusion 등의 과정을 얼마나 ..

Paper/3D vision 2024.12.13

FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction

내 맘대로 Introduction 이 논문은 FFHQ 데이터세에 있는 얼굴들의 texture를 뽑아내서 데이터셋화 한 논문이다. 이미지 말고는 주어진 정보가 아무것도 없는 FFHQ 데이터셋에서 정해진 UV 도메인의 texture map을 뽑아내는 것이 목적이기 때문에 이미지 to scan, scan unwrap 등 여러 요소가 끼어들어야 했다. 결과적으로 기존에 등장했던 여러 SOTA 알고리즘을 총집합해서 끄끝낸 만들어낸 데이터셋 내용이다.  데이터셋 논문이다 보니 알고리즘 적인 내용보다 어떻게 처리했는지 디테일 위주다. 메모크게 3단계다.1) 이미지를 InterFaceGAN으로 multiview + 머리 없애고 + 안경 없애고 2) Deep3D 알고리즘을 자체 학습한 것을 돌려 3D Mesh 뽑아내기3..

Paper/Human 2024.12.11

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 문제

도커 이미지 잘 구해서 실행시키는데 위 오류가 났다.docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 심상치 않아 보이는 오류명 대비 해결법이 간단했다. 해결법 sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker nvidia 컨테이너 툴킷 설치하고 재시작하면 끝

Trouble/Docker 2024.12.09