CODERNER

내 맘대로 Introduction head template model을 만드는 순서는 보통 3D scan을 하고 MVS로 mesh를 얻은 다음 미리 만들어둔 template mesh를 registration하는 과정을 거친다. 이 때 MVS에 noise가 있는 것을 사람이 수작업으로 보통 거르고, registration 과정에서도 손으로 파라미터 튜닝을 해줘야 한다. 즉 수작업이 굉장히 많이 든다고 할 수 있다. 이 논문은 MVS-registration 순서를 통째로 대체해서 images to registrated model로 한 방에 가는 방법을 소개한다. 학습 과정에서 3D SCAN이 필요하긴 하다. 대신 MVS를 건너뜀. 메모 이미지 feature를 aggregation해서 feature volum..

부팅 디스크를 꽂고 우분투를 재설치하고자 할 때 맨 처음 BIOS에 들어가 boot priority를 변경해주는 것을 한다. 이후 재부팅하면 Try or install ubuntu 를 비롯한 여러 항목들이 뜨는 GRUB 화면이 뜬다. 이 때 보통 처음에 있는 Try or install ubuntu를 클릭하면 쭉 진행이 되어야 하는데 검은 화면이 갇혀서 아무 일도 일어나지 않는 경우가 있다. 여러 원인이 있을 수 있지만 나의 경우 그래픽 드라이버 문제였다. 해결법 GRUB 화면이 떴을 때 아무것도 클릭하지 말고 'e' 키를 입력한다. 그러면 새로운 화면으로 넘어갈텐데 자세히 보면 특정 줄 끝에 -- 혹은 ---가 있는 것을 볼 수 있을 것이다. 이 -- 혹은 ---을 지우고 그 위치에 다음과 같이 추가해준..

sudo apt-get install unzip unzip ***.zip 위 명령어를 치면 웬만해선 zip 파일 압축해제가 잘된다. 하지만 가끔 깨진 파일이나 오류있는 파일이 포함되어있을 경우 실패한다. 안 깨진 파일이라도 건지고 싶어서 방법을 찾았다. Archive: backup.zip End-of-central-directory signature not found. Either this file is not a zipfile, or it constitutes one disk of a multi-part archive. In the latter case the central directory and zipfile comment will be found on the last disk(s) of this ..

내 맘대로 Introduction 이미지 N장으로부터 표정 변화가 가능한 head avatar를 얻는 방법. 표정 변화를 모델링하기 위해서 FLAME 모델을 사용했다. 핵심 아이디어는 이미지 feature와 FLAME feature를 분리해서 inference할 때 FLAME feature만 바꿔가면서 표정 변화를 할 수 있도록 했다는 점이다. 3D consistency를 유지하기 위해서 NeRF 컨셉을 넣기도 했는데 이건 거의 유행처럼 번진 수준 같다. 메모 입력 이미지 N장은 FLAME 모델과 상관없이 별개로 multi plane representation으로 encoding 됨. 이 때 M개의 multi plane 들이 나올 수 있도록 자유도를 열어줬다. M개 마다 learanble Query가 주..

ssh로 서버에 붙은 이후에 파일을 올리고 내릴 일이 많다. 서버에서 데이터를 꺼내서 보는 경우도 많고 실험용 데이터를 올리는 일도 많다. 이 때 scp를 이용하면 아주 간단하게 파일을 올리고 내릴 수 있는데 명령어를 맨날 헷갈려서 기록해둔다. 파일 올리기 scp -P [포트번호] -r [local경로, 상대경로 가능] SERVER_ID@SERVER_IP:[원격 경로, 절대경로로] 예시 scp -r /home/jseob/Desktop/data remote@xx.xx.xx:/home/data -r 을 추가하면 recursive하게 동작하므로 폴더 단위를 올릴 수 있고, 파일 1개일 경우 -r 빼면 된다. 중간에 띄어쓰기와 :을 잊지 말자 파일 가져오기 scp -P [포트번호] -r SERVER_ID@SER..

내 맘대로 Introduction 이 논문은 3D Human avatar가 있을 때 texture를 업데이트해서 착장을 바꾼다거나 pose를 바꾸는 식으로 외형을 변형시키는 논문이다. 입력이 이미지가 아니라는 점. 핵심 아이디어는 texture는 uv map diffussion으로 다양화, pose 변화는 NeRF representation을 이용해 feature에 반영하는 부분이다. 그리고 각각 신체 파트 별로 나누어서 접근하는 divde-and-conquer 전략이다. 방대한 SMPL까지 존재하는 데이터셋에서만 적용 가능하다는 것이 단점. 메모 1) SMPL 파트 별로 uv map상으로 encoding (xyzrgb 입력으로 받을 듯) 2) NeRF 방식으로 feature rendering ( ray..

내 맘대로 Introduction 이 논문은 SMPL의 joint 구조를 실제 인간의 뼈구조와 일치시킨 논문이다. 쉽게 말하면 SMPL에 뼈를 추가한 것이며 뼈 또한 굵기, 길이가 파라미터로 조절될 수 있도록 했다. BSM 이라고 불리는 뼈 모델을 먼저 만들고 이것은 SMPL 기본 골격과 껴맞춘 뒤, 수 많은 피팅 결과들을 보면서 parameterization까지 마쳐서 SKEL 이라는 최종 모델을 만들었다. 특징점은 1) joint 위치가 뼈로 인한 위치로 변화했으므로 기존 위치와 많이 달라짐, 2) BSM 피팅 오차도 있어서 뼈가 튀어나오는 경우도 종종 있음 (완벽하게 혼연일체된 것은 아닌 것 같음) 이다. shape(체형)과 뼈는 사실 살찐 정도에 따라 다를 수 있으므로 어느 정도 독립적인데 SKE..

내 맘대로 Introduction masked image modeling 기법을 활용해서 transformer를 pretraining하는 방법이 유명해진 이후로 나온 논문이다. 이종 입력들, 이미지나 depth, normal 등,을 동시에 입력으로 받아 자가 학습하는 방법론을 설명한다. 내용 자체는 Masked auto encoder를 그대로 가져오면서 입력 개수와 출력 개수를 늘린 것이니 별 것 없어 보이지만 실제로 전혀 다른 이종 입력이 pretrain 레벨에서도 도움이 된다는 것을 보여줬다는 것에 의미가 있다. multimodal pretraining의 입문 같은 논문. 메모 설명할 내용은 별로 없다. MAE를 구성하는 건데 각각 다른 입력, 다른 encoder에서 나온 token을 받는 식으로 구..

내 맘대로 Introduction Gaussian splatting 나왔을 때 누군가는 이미 학습된 NeRF를 3DGS로 옮길 것 같다고 생각했었는데 구글이 했다. 사전학습된 NeRF MLP를 이용해서 3DGS를 학습시키는 방법론을 소개하는 논문이다. 사실 이미지랑 포즈가 있으면 학습시킬 수 있는 것이 3DGS이니까 NeRF가 이미 있다면 못할 이유가 전혀 없다. 이 자체로는 contribution이 부족하다 보니 pruning 쪽에서 한 입, 속도에서 한 입 해서 논문으로 정리했다. 핵심 아이디어는 NeRF의 alpha 값을 갖고 GS의 초기 위치를 잡는 것, NeRF의 color 갖고 GS supervision을 계속 걸어주는 것이다. 가장 직관적이고 심플하다. 누구보다 빠르게 구현한 것이 논문으로 ..

책 소개 이 책이 인류 유산 프로젝트라고 불리는 이유가 노인 1000명의 인터뷰 내용을 담았기 때문이다. 좋은 삶을 사는 방법을 설명하는 책들은 많지만 이 책의 저자는 직접 삶을 경험하고 삶의 끝자락에 다다른 사람들의 말이 더 가치 있을 것이라 말한다. 70세가 넘은, 살 날보다 살아온 날들이 더 많은 인생의 현자들을 만나 삶 전반을 묻는 질문을 하고 그 답변들을 정리한 책이다. 유명인사나 성공했다로 불리는 인물이 소개하는게 아닌 만큼 특별하진 않지만 더 일반적인 조언들이 담겨있는 책이다. 어찌 보면 너무 일반적이어서 아는 소리하는 책이라고 느낄 수도 있을 것 같은데 내가 읽었을 땐 뿌리 깊은 소리로 들렸다. 개인적으로 자신이 젊다고 생각하는 사람이라면 읽어볼만 한 것 같다. 짧은 후기 이 책을 읽고 나..