CODERNER

내 맘대로 Introduction virtual-try-on을 diffusion 모델 써서 하는 논문. 요즘 나오는 conditioned image generation의 추세를 따라, IP-Adapter + SDXL + CLIP + ControlNet를 섞은 논문.  SD1.5 혹은 SDXL이 워낙 강력하다보니 frozen SD를 갖다 붙이는 식의 방식이 레시피의 핵심이 되었고, 자연스레 생성형 논문은 알고리즘적 진일보가 contribution이라기 보다 어떤 식의 조합이 효과적인지 밝히는 실험적 진일보가 contribution인 것 같다. 이 논문은 어떤 pretrained network들을 어떻게 조합해야 원하는대로 virtual try on 이미지를 생성할 수 있는지 조합 레시피를 설명하는 논문. ..

docker 이미지 빌드하다보면 빌드 실패 하는건 한 두 번 겪는 일이 아닌데 이 때 부산물로 :과 같은 이미지들이 생겨난다.  냅둬도 뭐 큰 상관은 없다만 이게 원래 만들고자 했던 이미지들의 용량을 그대로 들고 있기 때문에 너무 많이 쌓이면 메모리가 부족해진다. 따라서 명령어도 크게 안 복잡하니까 보이면 바로 바로 지우는게 좋다.sudo docker rmi $(sudo docker images -f "dangling=true" -q) # --force 가끔 아직 컨테이너에서 사용하고 있는 이미지라고 안 지워질 수도 있는데 십중팔구 쓰레기 컨테이너일 것이다. 그냥 --force 붙여서 강제 삭제해버리거나 확인 후 삭제하면 된다. sudo docker ps -asudo docker rm CONTAINER_..

https://github.com/NVlabs/tiny-cuda-nn GitHub - NVlabs/tiny-cuda-nn: Lightning fast C++/CUDA neural network frameworkLightning fast C++/CUDA neural network framework. Contribute to NVlabs/tiny-cuda-nn development by creating an account on GitHub.github.com 요즘 NeRF 시리즈 논문들에서 자주 다루는 library, tinycudann 설치할 때 잡음이 많다. 기본적으로 gpu에 맞는 nvidia driver를 설치해두어야 할 것, 또 이에 맞는 CUDA를 설치해둘 것. 이건 만족했다는 전에 하에 진행해도..

docker container 띄울 때 GPU를 써야할 경우 --gpus all를 추가한다. 이 때 nvidia-driver 멀쩡히 잘 설치했고, 다른 코드에서 GPU 사용 잘 되는데 docker container 만들 때만 다음과 같은 오류가 날 때가 있다.docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. 원인을 검색해보면 nvidia-container-toolkit이 없어서 그렇다고 한다. 해결법sudo apt-get install nvidia-container-toolkit sudo apt-get update 간단하게 nvidia-container-toolkit을 설치해주면 ..

간혹 Dockerfile 내 설치하는 패키지 중 time zone, greographic area처럼 유저가 직접 설정하는 내용이 있을 경우, docker build가 더 진행되지 않고 대기 상태에 빠져 무한 루프 돌고 있을 때가 있다.  해결법1. 직접 입력해주기ENV $TIMEZONE=Asia/SeoulRUN ln -snf /usr/share/zoneinfo/$TIMEZONE /etc/localtime 2. 무시하도록 하기ENV DEBIAN_FRONTEND=noninteractive 개인적으로 후자로 박아넣는 것이 더 좋더라. interactivate input을 받는 내용 중 크리티컬한 것들은 별로 없었음.

내 맘대로 Introduction 알고리즘적 개선이 아닌 파이프라인 논문. NeRF + diff.renderer를 이용한 refinement를 붙여서 품질 좋은 mesh를 얻어내는 파이프라인을 만들고 그 속도를 최대한 가속한 논문. 최종 출력이 Blender나 unity 같은 상용툴에 입력으로 쓰일 수 있는 OBJ 같은 형태.  상용툴에서 색상을 diffuse + specular로 분리해서 다루므로 논문에서도 diffuse, specular로 색깔을 나누어 다루었을 뿐 나머지는 전부 기존 논문들과 같다. 가져다 쓴 조합형 논문. 가속화하고 구현해낸 것에 의의가 있음. 메모총 2 stage1) stage1- grid-based NeRF로 빠르게 coarse geometry + appearance 복원2) ..

내 맘대로 Introduction top-down 방식의 HMR 논문들의 공통점은 추정값에 대한 confidence가 없다는 것이다. keypoint는 애초에 heatmap으로 추정하기 때문에 confidence를 쉽게 얻어낼 수 있지만 파라미터를 추정하는 HMR 시리즈는 confidence를 얻어내기 어렵다. 생각해보면 당연히 필요한 것이었는데 명확히 방법론이 없어서 구현되지 못했던 내용. 조건은 기존 HMR에 그대로 갖다 붙일 수 있도록 구현해야하는 것 + confidence가 실제 uncertainty를 잘 반영할 것 2가지다. 핵심은 생각보다 간단하다. 그냥 uncertainty(혹은 confidence)를 추정하는 네트워크를 추가하고 loss term의 분모에다 갖다 붙이는 것이다. 그러면 po..

내 맘대로 Introductionsingle image to 3d animatable avatar. 일종의 HMR 처럼, 3DMM FLAME 모델 파라미터를 추정하는 backbone인데 In-the-wild 이미지를 학습 데이터로 사용했기 때문에 데이터 양에서 강점이 있다. 더불어 모델 파라미터만 추정하는 것이 아니라, light, albedo, subject-specifi detail (displacement map) 같은 것을 같이 추정하도록 설계한 것이 차이점. 핵심은 3DMM FLAME 파라미터가 미처 표현하지 못하는 subject-specific detail을 추정하도록 네트워크를 설계한 점과, 이 둘이 각각 다른 feature를 사용하도록 분리했다는 점이다. 직관적으로 표정이나 뚱뚱한 정도가 ..

끄적끄적제목이 워낙 알려진 유명한 책이지만 대놓고 이렇게 해라, 저렇게 해라 하는 자기계발서일 것 같아서 미뤄두다가 추천을 받아 읽게 되었다. 문득 읽다보니 이래라 저래라 하는 책을 안 좋게 보는 선입견이 왜 생겼나 생각하게 되었는데 검증된 책이라면 믿어도 좋을 것 같다. 사회적으로 인정받는 사람 1명 당 조언 1개로 엮인 책인데 선택적으로 몇 개만 취해도 좋은 내용들이다. 이제는 사소한 것이 큰 차이를 만든다는 생각, 태도가 전부라는 생각을 하게 된 시점에 다시 보니 이런 책들이 정수를 담은 책인가 싶다. 읽어보기 충분히 좋은 책. 짧은 후기책을 읽는 동안 전역한 미국 해군 맥 레이븐 대장이 한 연설에서 성공하고 싶으면 아침에 일어나서 이불을 개라고 말한 것이 생각났다. 매일 아침에 만든 작은 성공을 ..

내 맘대로 Introduction monocular head video to animatable implicit head avatar. 같은 문제를 푸는 논문이 워낙 많아서 입력, 출력은 여느 논문과 같다. 이 논문은 비교적 나온지 오래된 논문이고 InstantNGP랑 같은 원리로 가속했고, 3DMM expression parameter를 컨디션으로 주었다.  핵심 아이디어는 역시나 expression parameter를 컨디션으로 주고 deformation field를 계한 뒤, 알짜 학습은 canonical space에서만 한다는 것. 그리고 grid hasing을 이용해 가속했다는 점. 참고 포인트는 deformation field를 "예측"한 것이 아니라 3DMM tracking 결과를 이용해서 ..