CODERNER

내 맘대로 Introduction 이 논문은 3D Human avatar가 있을 때 texture를 업데이트해서 착장을 바꾼다거나 pose를 바꾸는 식으로 외형을 변형시키는 논문이다. 입력이 이미지가 아니라는 점. 핵심 아이디어는 texture는 uv map diffussion으로 다양화, pose 변화는 NeRF representation을 이용해 feature에 반영하는 부분이다. 그리고 각각 신체 파트 별로 나누어서 접근하는 divde-and-conquer 전략이다. 방대한 SMPL까지 존재하는 데이터셋에서만 적용 가능하다는 것이 단점. 메모 1) SMPL 파트 별로 uv map상으로 encoding (xyzrgb 입력으로 받을 듯) 2) NeRF 방식으로 feature rendering ( ray..

내 맘대로 Introduction 이 논문은 SMPL의 joint 구조를 실제 인간의 뼈구조와 일치시킨 논문이다. 쉽게 말하면 SMPL에 뼈를 추가한 것이며 뼈 또한 굵기, 길이가 파라미터로 조절될 수 있도록 했다. BSM 이라고 불리는 뼈 모델을 먼저 만들고 이것은 SMPL 기본 골격과 껴맞춘 뒤, 수 많은 피팅 결과들을 보면서 parameterization까지 마쳐서 SKEL 이라는 최종 모델을 만들었다. 특징점은 1) joint 위치가 뼈로 인한 위치로 변화했으므로 기존 위치와 많이 달라짐, 2) BSM 피팅 오차도 있어서 뼈가 튀어나오는 경우도 종종 있음 (완벽하게 혼연일체된 것은 아닌 것 같음) 이다. shape(체형)과 뼈는 사실 살찐 정도에 따라 다를 수 있으므로 어느 정도 독립적인데 SKE..

내 맘대로 Introduction masked image modeling 기법을 활용해서 transformer를 pretraining하는 방법이 유명해진 이후로 나온 논문이다. 이종 입력들, 이미지나 depth, normal 등,을 동시에 입력으로 받아 자가 학습하는 방법론을 설명한다. 내용 자체는 Masked auto encoder를 그대로 가져오면서 입력 개수와 출력 개수를 늘린 것이니 별 것 없어 보이지만 실제로 전혀 다른 이종 입력이 pretrain 레벨에서도 도움이 된다는 것을 보여줬다는 것에 의미가 있다. multimodal pretraining의 입문 같은 논문. 메모 설명할 내용은 별로 없다. MAE를 구성하는 건데 각각 다른 입력, 다른 encoder에서 나온 token을 받는 식으로 구..

내 맘대로 Introduction Gaussian splatting 나왔을 때 누군가는 이미 학습된 NeRF를 3DGS로 옮길 것 같다고 생각했었는데 구글이 했다. 사전학습된 NeRF MLP를 이용해서 3DGS를 학습시키는 방법론을 소개하는 논문이다. 사실 이미지랑 포즈가 있으면 학습시킬 수 있는 것이 3DGS이니까 NeRF가 이미 있다면 못할 이유가 전혀 없다. 이 자체로는 contribution이 부족하다 보니 pruning 쪽에서 한 입, 속도에서 한 입 해서 논문으로 정리했다. 핵심 아이디어는 NeRF의 alpha 값을 갖고 GS의 초기 위치를 잡는 것, NeRF의 color 갖고 GS supervision을 계속 걸어주는 것이다. 가장 직관적이고 심플하다. 누구보다 빠르게 구현한 것이 논문으로 ..

책 소개 이 책이 인류 유산 프로젝트라고 불리는 이유가 노인 1000명의 인터뷰 내용을 담았기 때문이다. 좋은 삶을 사는 방법을 설명하는 책들은 많지만 이 책의 저자는 직접 삶을 경험하고 삶의 끝자락에 다다른 사람들의 말이 더 가치 있을 것이라 말한다. 70세가 넘은, 살 날보다 살아온 날들이 더 많은 인생의 현자들을 만나 삶 전반을 묻는 질문을 하고 그 답변들을 정리한 책이다. 유명인사나 성공했다로 불리는 인물이 소개하는게 아닌 만큼 특별하진 않지만 더 일반적인 조언들이 담겨있는 책이다. 어찌 보면 너무 일반적이어서 아는 소리하는 책이라고 느낄 수도 있을 것 같은데 내가 읽었을 땐 뿌리 깊은 소리로 들렸다. 개인적으로 자신이 젊다고 생각하는 사람이라면 읽어볼만 한 것 같다. 짧은 후기 이 책을 읽고 나..

끄적끄적 요근래 도파민이 키워드여서 온갖 영상과 책에서 도파민, 도파민 거리는 것을 보았다. 그 중 가장 많이 본 책이 이 도파민네이션이라는 책이었다. 읽을 생각이 크게 없다가 시간이 좀 흐르니 문득 호기심이 생겨 읽게 되었다. 나는 이 책을 읽기 전 내용을 예상하길 쾌락 과잉 시대라고 하길래 마약이나 술 얘기 조금 하다가 SNS 같은 새로운 매체 중독을 말할 줄 알았다. 하지만 처음부터 끝까지 마약, 술, 성 중독 얘기를 해서 사실 좀 실망했다. 마약, 술, 성과 같은 것들에 중독되는건 사실 익히 알고 있으니 이에 대한 내용보다 현대인들이 간과하지만 이것들만큼이나 중독성이 있고 해롭다는 관점으로 SNS나 유튜브 같은 것을 말할 줄 알았는데 아니더라. 다소 아쉬웠다. 짧은 후기 이 책에서 내가 얻은 하나..

책에 대한 소개제목에서 느낌이 팍 오듯이 기술이 발전하면서 로봇, 인공지능이 사람을 대체하기 시작하면 이전과 같은 형태의 노동을 지속할 수 없다는 사실을 주제로 삼은 책이다. 단순히 요즘 인공지능이나 로봇이 빠른 속도로 발전하고 있으니 얕은 수준으로 거품 낀 이야기를 하면서 책을 팔려는 목적이 아니라 전체 분량의 30%가 참고문헌일 만큼 깊은 이야기를 담은 책이다. 거의 논문에 가까운, 오히려 어떤 논문보다 심혈을 기울여 적은 책이다. 책 자체가 탄탄한 느낌이었고 읽어보면 좋을 책이다. 기술이 발전하면 기존 노동자들을 대체하는 힘이 생기기 때문에 필연적으로 실직자가 생긴다. 실제로 이러한 힘에 두려움을 느껴서 러다이트 운동이 벌어진 역사적 사실도 있는데, 이 대체하는 힘은 여태까지는 기술의 발전으로 인한..

내 맘대로 Introduction 새로운 컨셉의 3D recon. 논문이다. intrinsic을 모를 때도 사용이 가능한 image to 3D point 형태의 모델인데 Croco 와 같이 binocular image로 학습된 backbone을 사용해서 네트워크가 geometry를 알아서 배워서 바로 lifting할 수 있도록 했다. 이게 되냐? 싶지만 데이터를 850만 장이나 사용해서 커버했다. 아이디어는 scene coordinate라는 형태로 이미 연구가 되었던 분야이므로 새롭진 않으나 엄청나게 데이터를 많이 먹이면 가능하다는 것을 보여준 것이 의미가 있다. 또, 가능하다는 것이 입증되었으니 기존 SfM, MVS와 같이 카메라 파라미터에 엄청 의존하는 방식에서 벗어나서 데이터 빨로 recon.할 수..

끄적끄적니체와 달리 염세주의를 갖고 있는 철학자 같았다. 원래도 좀 우울한 성향(?)의 철학자라는 이미지가 있었는데 책을 보고 나니 더 그런 것 같다. 행복보다는 고통을 최소화하는 것이 더 낫다는 말이나, 성공한 사람이나 가난한 사람이나 크게 다를 바 없다는 말을 듣고 있자하니, 삶이란 뭔가 추구하고 나아가는 것이라기 보다 견디는 것으로 바라보는 시선 같았다. 니체처럼 삶의 원동력이 개인의 성장에 있다는 관점의 진취적인 느낌과 정반대로 안분지족하면 더할 나위 없다는 식의 정적인 느낌의 철학 같았다. 어떤 시선으로 삶을 바라보냐에 정답이 없으니 니체나 쇼펜하우어나 다 일리있는 말이다. 어떨 때는 쇼펜하우어의 관점이, 어떨 때는 니체의 관점이 와닿는 식으로 엎치락 뒤치락하기도 하니 말이다. 그냥 그렇게 생각..

끄적끄적 기억에 남는 내용이 특별히 있다기 보다, 마음의 방파제를 쌓는 느낌이었다. 심리학이라는 단어가 제목에 들어가 있는 책 대부분이 사람의 마음이 어떻게 다치고, 닫히고 회복되는지를 다루다 보니 그냥 그렇구나 하면서 읽는다. 나의 현 상태와 별 상관이 없는 내용을 읽을 땐 사람이 이럴 수도 있구나, 그럴 수도 있지 하면서 나중에 나를 지킬 마음의 방어력을 높이는 느낌이고 나에게 와닿는 내용을 읽을 땐 조금 더 나아가 치유되는 느낌을 받는다. 김혜남 작가의 책은 그런 측면에서 자주 손에 잡는 책인데 읽을 수록 마음 한 켠에 무언가 쌓아두는 느낌이다. 나중에 떠올라서 내가 힘들 때 도움이 될만한 것들을 차곡차곡 쌓는 기분이라 다 읽고 나서 뭔가 기억이 특별히 나지 않아도 괜찮다. 더불어서 말하는 작가의 ..