분류 전체보기 538

[Human] GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models

GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models 내 맘대로 Introduction 이 논문은 SMPL 시리즈 (SMPL, SMPL+H, SMPL+D, SMPL+X)와 같은 parametric human model을 만드는 것을 목표로 했다. 단 기존 SMPL이 body에만 집중했던 것을 넘어서 얼굴와 손을 포함한 모델이며 파라미터를 만드는 방식이 PCA 기반이 아닌 deep learning을 통한 방식이다. 파라미터를 그냥 loss 설계하고 backpropagation으로 찾아지는 값 그대로 쓰는 것인데 효과적인 학습을 위해서 PCA 기반 값을 초기화값으로 사용하거나 low-dimension 모델인 GHUML은 대놓고 PCA 기반 ..

Paper/Human 2023.03.13

수브다니의 여름 휴가

읽게 된 계기 이전 작품을 읽고 소설이 주는 편안함이 좋아서 다시 소설을 골라잡았다. 단편이라고 하니 짧아서 가볍게 듣기도 좋을 것 같았다. SF 소설을 주로 읽어보려고 요즘 생각하는 중이라 더 마음이 끌렸다. 짧은 평 오디오북으로 1시간 22분, 하루 출퇴근 길에 듣기에 딱 좋은 길이였다. 평소보다 5~10분 일찍 나가 천천히 걸으며 딴 생각 안하고 집중해서 들었는데 듣다보니 이 책은 굳이 집중하려고 노력하지 않아도 집중하게 되는 책이었다. 오히려 오디오북으로 읽으니 성우들의 연기와 적절한 배경 음악/소리가 어우러져 더 생생하게 상상할 수 있었다. 야근이 잦았던 이번 주에 이 책으로 인해 마음이 편안한 하루가 만들어졌을 정도로 편하게 읽기도 좋다. 내용 자체는 흔히 상상할 수 있는 내용은 아니었다. "..

Book/Fun 2023.03.10

Swish activation function

Activation function은 sigmoide부터 ReLU, Leaky ReLU, ELU, SELU 등 많이 있지만 구글에서 새로 디자인한 activation function이 눈에 띄었다. 구글 찬양론자 같지만 출처가 구글이다보니 그래도 조금은 신뢰가 갔기 때문에 사용해보기로 했다. Swish activation function 일단 Swish가 타겟으로 하고 있는 activation function은 ReLU다. 가장 널리 쓰이고 있는 activation function인만큼 ReLU와의 비교를 확실히 해서 그 강점을 강조하려고 한 것 같다. ReLU는 익히 알다시피 음수 영역에서 0 처리를 해버림으로써 음수에서는 gradient가 발생하지 않는다. 그러므로 한 번 음수가 발생하면 연관된 뉴런..

Knowledge/Vision 2023.03.10

Positional encoding

Transformer나 NeRF 중 하나라도 다루어본 적이 있다면 Positional encoding, PE를 본 적이 있을텐데 나는 이것을 도대체 왜 쓰는지 궁금했다. 단순하게는 위치 정보를 표기하는 특별한 형태 중 하나라고 볼 수 있는데 안 바꾸고 그대로 쓰면 안되는지, 안 바꾸면 성능 차이가 그렇게 큰 지 궁금해졌고 그 이유에 대해서 공부하게 되었다. *먼저, 내가 공부할 때 참고했던 글은 https://towardsdatascience.com/master-positional-encoding-part-i-63c05d90a0c3 이다. Positional encoding step-by-step Postional encoding을 왜 쓰느냐? 정답은 "네트워크 편하라고"다. 사람의 입장에서 Positi..

Knowledge/Vision 2023.03.10

Spectral bias of Neural network

딥러닝을 공부하다가 inductive bias라는 개념은 CNN을 다룰 때나 transformer를 다룰 때 자주 들어보았지만, 최근 spectral bias라는 개념을 처음 접했다. 특정 task에서만 발생하는 bias라면 그냥 지나갔겠지만 짧게 알아본 바로는 모든 neural network 학습 과정에서 전반적으로 나타나는 bias여서 알아두어야 할 것 같았다. 그래서 이 글은 간략하게 나마 spectral bias가 뭔지 설명하고 그 파훼법을 정리하기 위해 적는다. Spectral bias On the Spectral Bias of Neural Networks 라는 제목의 논문에서 저자들이 처음 주장했다. By using tools from Fourier analysis, we highlight a..

Knowledge/Vision 2023.03.10

픽사 스토리텔링 - 고객의 마음을 사로잡는 9가지 스토리 법칙

읽게 된 계기 요즘 부쩍 책을 많이 읽기 시작하면서 작가들이 글을 쓰는 것에 대해 존경심이 들 때가 종종 있다. 때론 방대한 상상력에 놀라기도 하고 때론 탄탄한 논리력에 놀라기도 했다. 그러면서 동시에 든 생각은 어떻게 글을 쓰고 말하는 것이 효과적인지가 궁금했다. 작가처럼 말하고 쓰려면 어떻게 해야하는지가 궁금했다. 이러한 생각을 하던 와중에 저자의 픽사라는 경력이 눈에 띄었다. 스토리로 먹고 사는 사람들은 뭔가 이야기를 해주지 않을까 싶었다. 짧은 평 잘은 모르겠지만 이야기를 쓰는데는 순서가 있긴 하다는 것이다. 주인공을 설정하는 방법, 주인공에 몰입하게 하는 방법부터 전체 이야기에서 주인공이 차지해야 하는 비율 (60%), B급 조연이 차지해야 하는 비율 (30%), C급 조연이 차지해야 하는 비율..

Book/Motivation 2023.03.10

[Human] I M Avatar: Implicit Morphable Head Avatars from Videos

I M Avatar: Implicit Morphable Head Avatars from Videos 내 맘대로 Introduction PiFU + deformation field 컨셉으로 dynamic object recontruction하는 논문의 얼굴 버전이다. 전신과 대비해서 움직임의 폭이 적고 다양성도 적은 편이어서 난이도가 조금 더 낮은 편이라 성능은 더 뛰어나 보인다. deformation field는 3DMM이라는 얼굴 모델의 basis를 적극 활용했고 ray marching을 통해 surface point를 찾아내는 것은 똑같다. ray marching 과정에서 gradient가 끊기는 것을 연결하기 위해 사용한 수식은 SelfRecon과 사실상 동일하다는 점이 눈에 띄는데 SelfReco..

Paper/Human 2023.03.10

[Human] PaMIR: Parametric Model-Conditioned ImplicitRepresentation for Image-based Human Reconstruction

* 이전 기록 방식이 난잡하기도 하고 길이가 길어 이 글부터는 분량을 좀 줄이고 핵심 아이디어라고 생각되는 부분 외에는 생략하기로 했다. PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction 내 맘대로 Introduction PaMIR는 간단히 말해 PiFU 에 3D volume aligned feature를 추가한 것이다. pixel aligned feature 만 쓰는 PiFU에, 이미지에 미리 SMPL 모델을 피팅해두고 피팅된 모델을 둘러싼 공간을 3D convolution으로 feature화 해서 같이 쓰는 식이다. PiFu가 위와 같은 식으로 정리할 수 있다면, PaMIR는 아..

Paper/Human 2023.03.09

Disparity generation

자주 쓰진 않겠지만 depth로부터 disparity 데이터를 만들어두는 방법을 정리해두면 좋을 것 같아 이 글을 적게 되었다. 매번 수식 까먹고 검색하는게 귀찮다. 시뮬레이션 데이터든, realsense로 직접 취득한 데이터든 stereo setting에서 이미지와 depth를 얻는 것은 쉽지만 disparity를 얻는 것은 까다롭다. 단순히 focal length와 baseline 길이를 이용해 변환하는 것으로 끝맺을 수 있지만 left disparity와 right disparity를 맞추는 작업을 안하면 left-to-right, right-to-left warping 시 안 맞을 수 있다. 따라서 cross check를 꼭 해줘야 한다. def convert(depth, f, b): disp =..

Knowhow/Vision 2023.03.08

Process finished with exit code 139 (interrupted by signal 11: SIGSEGV) 문제

Process finished with exit code 139 (interrupted by signal 11: SIGSEGV) 위 오류명이 나오면서 프로그램이 터지는 경우가 더러있다. 에러에 대한 상세 내용이나 발생 위치에 대한 설명 없이 그냥 터지는 경우가 많은데 원인을 찾기 어려운 오류 중 하나다. 원인은 간단하게 말해서 segmentation fault, 즉 메모리 레벨에서 문제가 생긴 것이다. 허용되지 않은 (혹은 잠겨있는) 메모리에 접근하려고 하거나 잘못된 방법으로 메모리에 접근하려고 할 경우 발생하는 것이다. 힌트는 메모리 사용에서 문제가 생겼다는 것 뿐, 발생 원인은 작성하던 코드에 따라 천차만별이므로 정해진 해결법은 없다. 다만 다음과 같은 리스트를 점검해보면 좋다. multi proce..

Trouble/Linux 2023.03.08