CODERNER

내 맘대로 Introduction 일반 NeRF로 왼쪽 그림처럼 반투명, 투명, 반사 재질의 물체를 다루면 성능이 떨어진다. NeRF는 사실 상 Lambertian surface 물체에서 확실하게 동작하는 편이고 non-Lambertian surface 물체에서는 딥러닝의 힘으로 그럭저럭 될 뿐이다. 이 논문에서는 4D light field 개념을 추가해서 non-Lambertian effect를 다룰 수 있도록 해서 반투명, 투명, 반사 재질 물체를 기존 NeRF보다 우수하게 다루는 것을 목적으로 한다. 기존 NeRF도 이미지를 무지막지하게 많이 쓰면 어느정도 커버할 수 있기에 이미지 사용을 최소화하면서 학습하는 방법도 제안하는데 epipolar contraint를 사용한다. geometric cont..

내 맘대로 IntroductionDKM (이전 글) 저자의 후속 연구로 나온 dense feature matching 네트워크다. 목적은 DKM와 같고 입력 출력의 형태도 같다. DKM 상위호환으로 보는 것이 맞을 것 같다. DKM이 GP regression을 사용해서 matching 성능을 끌어올린 것과 같이 RoMa도 다소 어려운 수학 개념을 녹여서 성능을 끌어올렸다. Diffusion 논문 때문에 그나마 조금 익숙한 Markov chain을 가져왔다. backbone을 DinoV2와 같이 어마어마한 것을 사용했기 때문에 성능이 뛰어오른 것인지 저자가 제안한 새로운 개념 때문에 뛰어오른 것인지 정확히 분간은 안가지만 성능을 DKM 대비 더 좋다. 속도는 당연히 느린데 측정해보니 대략 4배 정도 느린 ..

내 맘대로 Introduction 이 논문은 NeuS 대비 속도, 성능 두 마리 토끼를 잡아 앞지르겠다는 논문이다. 1) TensoRF와 같이 데이터 representation을 바꾸는 것과 2) 바뀐 representation에 맞도록 positional encoding을 바꾸는 것, 3) self.attention convolution을 추가하는 것을 메인으로 다룬다. 추측컨대, 1)을 해보았을 때 아래 그림과 같이 단순히는 실패한다고 해서 2) 3)을 추가한 듯 하다. 메모하며 읽기 글은 길지만 핵심은 짧다. 커버하는 공간을 bounding box로 normalize하고, bounding box를 3개의 평면의 곱으로 분할한다는 것이다. TensoRF에서 volume을 vector-matrix de..

내 맘대로 Introduction SDF를 UDF로 대체한 NeuS 논문이라고 보면 된다. SDF가 outside/inside 구분에 좋은 형태인 것은 맞지만 outside/inside 구분이 확신하려면 watertight 형태일 필요가 있다. 즉, 뚫린 부분이 있는 형상일 때 성능이 하락한다. 뚫린 부분이 있으면 안팎이 뒤집히는 ray가 있기 때문에 학습이 어려워지기 때문이다. UDF는 SDF에서 signed을 없애버림으로써 outside/inside 구분으로 인한 효과를 최소화할 수 있다고 한다. UDF는 2개의 문제가 있어 논문에서 이를 해결하는게 contribution이다. 첫번째로 occluse-aware가 아니라는 점이다. SDF처럼 음수 값이 없기 때문에 이게 어디에 부딪혀 통과했는지 아닌지..

cv2.error: OpenCV(4.7.0) /io/opencv/modules/calib3d/src/fisheye.cpp:77: error: (-215:Assertion failed) objectPoints.type() == CV_32FC3 || objectPoints.type() == CV_64FC3 in function 'projectPoints' cv2.fisheye를 쓸 일이 드물긴 하지만 가끔 어쩌다 쓸 때 위와 같은 오류를 자주 볼 수 있다. 오류명만 봐서는 사용하는 변수 타입이 float64, flaot32 중 하나로 통일이 안되어있단 뜻 같은데 타입을 맞춰도 오류가 해결되지 않기 때문에 조금 귀찮다. 그 경우 대부분 objectPoints 즉, 사용하는 3D point의 shape이 잘못되..

내 맘대로 Introduction NeRF 컨셉의 3D surface reconstruction 알고리즘의 고질병인 학습, 추론 속도를 빠르게 하기 위해 depth 정보를 끌어오고, MLP 대신 grid representation을 사용한 논문이다. 기존 Depth fusion에 비교한다면 hole이 더 잘 차있고 noise가 적다는 장점이 있고, NeRF 대비는 속도의 이점이 있다고 할 수 있을 것 같다. naive한 알고리즘 대비 무려 60배 빠르다고 한다. 사실 내가 볼 때 속도 개선의 핵심은 grid_sampler의 2nd derivative 기능을 CUDA로 직접 구현한 점인 것 같다. 앞에는 뭐... 그냥 조합한 느낌인데 이 기능적 구현이 contribution이 너무 크다. 메모하며 읽기 s..

내 맘대로 Introduction 그림만 보아도 이젠 알 수 있듯이, 저자는 다르지만 HMR 시리즈의 연속작이다. 이미지 feature에서 SMPL 파라미터를 어떻게 잘 뽑아낼 것이냐를 고민한 논문이다. (파라미터를 직접 뽑진 않지만, mesh model로 바꾸려면 이 논문도 SMPL 파라미터를 찾아야 된다.) 이미지 feature를 이미지 전역에서 쓰는 것이 아니라 vertex에 해당하는 위치에서만 sampling해서 쓰면 성능이 올라간다는 주장이다. task 자체는 성능 수치 싸움을 하는 레드오션 task를 그대로 다루고 새로운 task를 정의한 것은 아니다. 핵심 트릭을 파악하면 되는 논문. 내가 느끼기엔 PyMAF와 매우 유사한 컨셉이고 다만 joint 레벨에서 vertex 레벨로 더 차원을 높였..

읽게 된 계기 밀리의 서재 탑10 중 돈 관련된 책이 오랜만에 올라온 것 같아서 읽었다. 보통 돈이라는 단어를 제목에 넣을 책치고 그렇게 만족했던 적이 없어서 큰 기대가 되진 않았지만, 뻔한 이야기일지라도 읽으면 좋을 것 같아 집어들었다. 들어본 적이 없는 저자의 이름과 "부를 묻자 돈의 신이 답했다"라는 신선한 문구가 약간의 궁금증을 유발하긴 했다. 짧은 평 일단 재밌다. 책 전체가 3명의 인물을 등장시켜 서로 대화하는 내용으로 구성되어있다. 책을 읽는다기보다 대화를 엿듣는 모양에 가깝다. 등장 인물도 많지 않고 나는 특히 오디오북으로 들어서인지 누가 무슨 말을 하는지 쏙쏙 알 수 있어서 집중도 잘되고 재밌었다. 출퇴근 길에 조금 길을 돌아가더라도 이야기를 더 듣고 싶었던 며칠이 있었다. 전하려는 메세..

내 맘대로 Introduction 반사가 심한 물체 표면을 어떻게 복원할 것인가에 대한 논문이다. 반사가 일어날 경우, 기존 알고리즘에서 가정하는 volume rendering 수식을 안통하기 때문에 모델링 결과가 처참한데 반사광을 따로 다루어 복원 성능을 끌어올린 논문이다. 세팅이 복잡해서 직접 사용해볼 엄두는 나지 않는 논문이다. 이 논문 역시 NeuS를 baseline으로 잡고 있는데 NeuS 수식을 그대로 이용하되 color network를 단순히 MLP 붙이고 끝이 아니라 BRDF 수식을 이용해 추가적인 모델링을 한 MLP를 사용한다. 메모하며 읽기 2 stage로 구성되어 있는데, 대충 coarse to fine 컨셉이다. 첫번째 스테이지에서 SDF + BRDF를 잘 녹여서 거의 90% 만들어..

내 맘대로 Introduction 성능이 좋은 SDF based surface recontruction 알고리즘 NeuS와 속도가 빠른 Voxel grid based surface reconstruction 알고리즘 DVGO를 어떻게 합칠까 고민한 논문이다. NeuS류 알고리즘의 고질적인 문제가 느린 수렴 속도인데 수 시간이 걸리는 것을 수십분으로 어떻게 축소할지 그 방법을 설명한다. 단순히 Voxel grid 표현법에 NeuS SDF 수식을 갖다 붙이면 잘 안되는데 그것을 어떻게 해결했는지가 핵심인 논문 메모하며 읽기 Introduction을 읽어보면 NeuS와 DVGO 각각의 문제점인 속도와 성능저하를 지적하고, 이를 해결하기 위해 두 개를 naive하게 섞으면 어떻게 되는지 보여준다. 그림에서 보듯..