CODERNER

내 맘대로 Introduction 3DMM을 이미지에 fitting 시키는 논문 중 현재 SOTA라고 불리는 논문이다. body로 치면 HMR 류 논문의 SOTA이다. 성능을 높이는 것에만 집중하지 않고 cpu에서도 빠르게 도는 것을 목표로 했기 때문에 구조도 단순하고 네트워크도 그리 무겁지 않다. face pose가 필요한 논문들 (특히, NeRF 류) 에서 preprocessing으로 잘 쓰고 있는 논문이므로 성능은 실험적으로도 충분히 검증된 것 같다. 메모하며 읽기 입력 이미지를 받고 MobileNet으로 feature extraction 후, 각각 keypoint 찾고 3DMM parameter찾는 모듈 입력으로 넣어주는게 전부다. 사실 엄청 간단한데 핵심은 keypoint 모듈은 학습 단계에만 ..

내 맘대로 Introduction 얼굴 한정으로 3D surface reconstruction을 할 것인데 사람 얼굴이다보니 디테일과 텍스처가 다른 대상보다 특히나 중요하다. 따라서 더 현실감있는 얼굴을 복원하기 위해서 PBR(physically based rendering), BRDF를 잘 녺여보겠다는 논문이다. 메모하며 읽기 사전 배경지식으로, 빛 하나 하나를 보았을 때 BRDF로 모델링한다. 입사하는 빛의 각도에 따라 incident radiance, Li()를 계산해주어야 하는데 이건 수식(2)와 같이 Spherical harmonics + learnable coefficient 조합으로 표현된다고 정의해서 사용한다. BRDF, f 자체는 diffuse와 glossy reflection으로 정의했..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..

PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop 내 맘대로 Introduction 이 논문은 한마디로 SMPLify, HMR, SPIN과 같이 single image 에 SMPL을 어떻게 잘 fitting하느냐에 관한 논문이다. optimization based, regression based 많은 연구들이 있어서 주제 자체는 새롭지 않지만 그 성능이 압도적이어서 ICCV 2021 Oral까지 받은 논문이 되겠다. HMR 같이 regression based 논문이며 입력은 single image, 출력은 SMPL 파라미터다. 차이점은 기존 regression based 알고리즘은 이미지 전체를 압축한..

Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies 내 맘대로 Introduction 2023.04.07 - [Reading/Paper] - [NeRF] D-NeRF: Neural Radiance Fields for Dynamic Scenes 2023.04.07 - [Reading/Paper] - [NeRF] Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video 위 두 논문과 똑같은 논문이 또 있었다. NeRF에 time 축을 어떻게 추가할 것인가, 그래서 움직이는 사람 대상으로 NeRF..

Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans 내 맘대로 Introduction 이 논문은 NeRF를 움직이는 사람을 타겟으로 한정한 논문이다. "움직이는 사람의 자세"에 대한 condition이 추가된 NeRF라고 보면 된다. NeRF 관련 논문들이 쏟아져 나오기 시작하면서 나온 논문으로 당연히 나올 것 같다고 생각한 주제다. 이 논문은 NeRF가 소개된 이후 초창기에 나온 논문이기 때문에 독특한 방법론이 있다기 보다 움직이는 사람 자세를 어떻게 condition으로 넣어줄 것이냐만 추가한 단순한 논문이라고 볼 수 있다. 쉽게 예상할 수 있듯..

MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images 내 맘대로 Introduction 이 논문은 SCANimate의 generalization 버전이다. 사람 하나 하나 마련된 3D scan 데이터로부터 animatable avatar를 만드는 SCANimate 아이디어를 따오지만 걸리는 시간을 획기적으로 줄이고 scan까진 얻기 힘드니 depth 이미지를 갖고 그럴듯하게 만드는 방법을 소개한다. 컨셉을 간단히 말하면, 대규모 3D human 데이터를 이용해 대략 forward/inverse skinning weight를 추정하는 네트워크를 메타 네트워크로 만들어 두고, 특정 사람의 depth 이미지들이 생기면 특정 사람 ..

StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision 내 맘대로 Introduction 제목 그대로다. PiFU가 좋은 성능을 보여줬다고 한들 single view이기 때문에 문제가 많다. 애초에 depth ambiguity 때문에 풀 수 없는 것이 single view 3D reconsturction인데 이를 데이터에 의존해서 풀어낸 것이기 때문에 분명 한계가 있는 방법이다. 해결 방법은 multiview 정보를 쓰는 것 뿐인데 이 논문은 그 multiview를 two view로 한정해서 푼 논문이다. two view, 즉 stereo는 아직까지 타협할 수 있는 정도의 카메라 세팅이기 때문에 좋은 접근이라고 생각했다. stereo 세..

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization 내 맘대로 Introduction 제목에서 그대로 알 수 있듯이 PIFU의 HD 버전 논문이다. PiFU에서 pixel aligned feature를 이용하는 것이나, pixel aligned feature + depth z 를 입력으로 하는 occupancy network를 쓰는 것이나 동일하지만 더 성능을 끌어올리기 위해 추가 정보를 이용했다는 차이만 존재한다. 간단히 말하면 High resolution 이미지를 사용하는 module을 추가했고, front normal, back normal을 생성해서 추가 입력으로 사용한 차이가 있다..

ICON: Implicit Clothed humans Obtained from Normals내 맘대로 Introduction그림만 보면 영상으로부터 animatable avatar를 만들어내는 논문 같지만 실상은 frame by frame으로 3D human reconstruction하는 논문이다. 한마디로 PiFU나 PiFUHD 같은 결과를 얻고자 하는 논문이다. sequence를 쓰는 부분이나 animatable avatar를 만드는 부분은 SCANimate를 변형해서 뒤에 갖다 붙였기 때문이다. 변형 SCANimate까지를 contribution으로 가져가기 때문에 약간의 논문이 헷갈린다. SCANimate 논문은 이전 글 2023.03.30 - [Reading/Paper] - [Human] SCA..