전체 글 437

FeatUp: A Model-Agnostic Framework for Features at Any Resolution

내 맘대로 Introduction 기본 아이디어가 학습 잘 된 backbone에서 나오는 feature들을 고해상도로 변환할 수 없을까? 라는 질문에서 시작된다. DinoV2 같은 foundation backbone을 가져와서 사용하는 것이 흔한 요즘, 224x224로 제한된 해상도는 활용에 걸림돌이 되곤 한다. 이러한 답답함을 완화하기 위해서 뒤에 갖다 붙일 수 있는 feature upsampler를 만들고자 했다.  upsample -> down sample 원본 feature 방식으로 cyclic하게 학습해서 나중엔 upsampler만 가져와서 쓰는 방식 두 가지 구현 방식이 존재하는데 1) 학습 1번 완료 후 계속 고정하고 사용하는 upsampler2) 이미지 1장마다 overfitting시켜서..

Paper/Others 2024.05.13

Towards Metrical Reconstruction of Human Faces (a.k.a MICA)

내 맘대로 Introduction 이 논문은 2022년도 논문이라 최신 내용과는 거리가 멀지만, 최신 3DMM을 활용한 논문들이 fitted FLAME 모델을 전제로 하는 만큼 preprocessing에서 자주 언급되기에 한 번 짚고 넘어간다.  single image가 주어졌을 때 FLAME shape,expression,jaw 파라미터를 추정하는 backbone + 비디오가 주어지면 fitting하면서  head pose + color까지 추가로 찾는 논문이다. 기타 논문에서 많이 활용되는 만큼 성능은 좋아 보인다. 메모1) ArcFace라는 pretrained face recognition network를 가져와서 backbone으로 활용. 마지막 resblock 3개 빼고는 freeze됨.2) 마..

Paper/Human 2024.05.10

libGL.so.1, libgthread-2.0.so.0 not found 문제

보통 pip install opencv-python한 뒤, cv2를 사용하려고 하던 차에 발생하는 에러. 이름에서 알 수 있다시피 뭐가 안깔려 있어서 그럼ImportError: libGL.so.1: cannot open shared object file: No such file or directoryImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory 보통 위 오류가 나면 아래 오류도 뒤이어 따라 난다. 해결법sudo apt-get install -y libgl1-mesa-glxsudo apt-get install -y libglib2.0-0 이 두 개를 깔아주면 해결.

Trouble/Linux 2024.05.08

Global-correlated 3D-decoupling Transformer for Clothed Avatar Reconstruction

내 맘대로 Introduction PIFU랑 동일한 task를 다루지만 backbone을 ViT로 변경하고, xy, yz, zx triplane을 형성하는 식으로 feature representation을 변경한 논문. 후에 이미지에 fitting 된 SMPL face를 이용해 feature interpolation하는 식으로 body prior를 추가한 점이 또 있음. 전반적으로 backbone 탐색과 feature representation 변경이 차이점이고 PIFU 시리즈 논문이라고 봐도 될 것 같다. 메모사실 그림만 봐도 이해가 됨...1) image latent 생성2) 정면은 self attention, side/top view는 cross attention으로 feature plane 생성3..

Paper/Human 2024.05.08

Improving Diffusion Models for Authentic Virtual Try-on in the Wild

내 맘대로 Introduction virtual-try-on을 diffusion 모델 써서 하는 논문. 요즘 나오는 conditioned image generation의 추세를 따라, IP-Adapter + SDXL + CLIP + ControlNet를 섞은 논문.  SD1.5 혹은 SDXL이 워낙 강력하다보니 frozen SD를 갖다 붙이는 식의 방식이 레시피의 핵심이 되었고, 자연스레 생성형 논문은 알고리즘적 진일보가 contribution이라기 보다 어떤 식의 조합이 효과적인지 밝히는 실험적 진일보가 contribution인 것 같다. 이 논문은 어떤 pretrained network들을 어떻게 조합해야 원하는대로 virtual try on 이미지를 생성할 수 있는지 조합 레시피를 설명하는 논문. ..

Paper/Generation 2024.05.07

Docker image 중 <none>:<none> 지우기

docker 이미지 빌드하다보면 빌드 실패 하는건 한 두 번 겪는 일이 아닌데 이 때 부산물로 :과 같은 이미지들이 생겨난다.  냅둬도 뭐 큰 상관은 없다만 이게 원래 만들고자 했던 이미지들의 용량을 그대로 들고 있기 때문에 너무 많이 쌓이면 메모리가 부족해진다. 따라서 명령어도 크게 안 복잡하니까 보이면 바로 바로 지우는게 좋다.sudo docker rmi $(sudo docker images -f "dangling=true" -q) # --force 가끔 아직 컨테이너에서 사용하고 있는 이미지라고 안 지워질 수도 있는데 십중팔구 쓰레기 컨테이너일 것이다. 그냥 --force 붙여서 강제 삭제해버리거나 확인 후 삭제하면 된다. sudo docker ps -asudo docker rm CONTAINER_..

Knowhow/Docker 2024.05.07

tinycudann 설치 시 No CUDA runtime is found 문제

https://github.com/NVlabs/tiny-cuda-nn GitHub - NVlabs/tiny-cuda-nn: Lightning fast C++/CUDA neural network frameworkLightning fast C++/CUDA neural network framework. Contribute to NVlabs/tiny-cuda-nn development by creating an account on GitHub.github.com 요즘 NeRF 시리즈 논문들에서 자주 다루는 library, tinycudann 설치할 때 잡음이 많다. 기본적으로 gpu에 맞는 nvidia driver를 설치해두어야 할 것, 또 이에 맞는 CUDA를 설치해둘 것. 이건 만족했다는 전에 하에 진행해도..

Trouble/Others 2024.05.07

--gpus 안 먹힐 때, nvidia-container-toolkit 설치 안 될 때

docker container 띄울 때 GPU를 써야할 경우 --gpus all를 추가한다. 이 때 nvidia-driver 멀쩡히 잘 설치했고, 다른 코드에서 GPU 사용 잘 되는데 docker container 만들 때만 다음과 같은 오류가 날 때가 있다.docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 원인을 검색해보면 nvidia-container-toolkit이 없어서 그렇다고 한다. 해결법sudo apt-get install nvidia-container-toolkit sudo apt-get update 간단하게 nvidia-container-toolkit을 설치해주면 ..

Trouble/Docker 2024.05.07

Timezone, geographic area 설정으로 인한 Docker build 무한 대기 해결법

간혹 Dockerfile 내 설치하는 패키지 중 time zone, greographic area처럼 유저가 직접 설정하는 내용이 있을 경우, docker build가 더 진행되지 않고 대기 상태에 빠져 무한 루프 돌고 있을 때가 있다.  해결법1. 직접 입력해주기ENV $TIMEZONE=Asia/SeoulRUN ln -snf /usr/share/zoneinfo/$TIMEZONE /etc/localtime 2. 무시하도록 하기ENV DEBIAN_FRONTEND=noninteractive 개인적으로 후자로 박아넣는 것이 더 좋더라. interactivate input을 받는 내용 중 크리티컬한 것들은 별로 없었음.

Trouble/Docker 2024.05.07

Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

내 맘대로 Introduction 알고리즘적 개선이 아닌 파이프라인 논문. NeRF + diff.renderer를 이용한 refinement를 붙여서 품질 좋은 mesh를 얻어내는 파이프라인을 만들고 그 속도를 최대한 가속한 논문. 최종 출력이 Blender나 unity 같은 상용툴에 입력으로 쓰일 수 있는 OBJ 같은 형태.  상용툴에서 색상을 diffuse + specular로 분리해서 다루므로 논문에서도 diffuse, specular로 색깔을 나누어 다루었을 뿐 나머지는 전부 기존 논문들과 같다. 가져다 쓴 조합형 논문. 가속화하고 구현해낸 것에 의의가 있음. 메모총 2 stage1) stage1- grid-based NeRF로 빠르게 coarse geometry + appearance 복원2) ..