CODERNER

BlenderNeRF로 3DGS 에셋 만들기 (.blend to 3DGS .ply)

3DGS가 explicit representation이다 보니 여러 3DGS를 좌표계만 통일한다면 한 공간에 모아서 렌더링할 수 있다. ply를 위치만 맞춰서 합쳐주면 그대로 합쳐진 scene이 된다. 이전 글 참고. 생각보다 재밌는 것들을 많이 해볼 수 있는데 이 때 맘에 드는 scene이나 object를 3DGS로 만들기 좋은 툴을 소개한다. 직접 찍어서 COLMAP + nerfstudio (or gsplat)을 태워서 복원할 수도 있지만 이게 해보면 COLMAP이 안 깨지게 맞추는 것도 어렵고 real scene이기 때문에 퀄리티 높게 복원하기가 쉽지 않다. 추천하는 대안은 블렌더에서 가상 렌더링 이미지 + 카메라 포즈로 복원해내는 것이다. BlenderNeRFhttps://github.com/..

Raspberry Pi SSD로 부팅할 때 삐~ 소리 + 멈춤 (전압 강하 문제)

라즈베리파이 쓸 때 저장 장치를 micro SD 카드를 쓰는게 거의 기본인데, 깨지는 일이 너무 빈번해서 SSD로 부팅하도록 세팅을 바꿨다. USB-to-SATA 케이블만 있으면 그냥 연결할 수 있고 라즈비안을 이용해 OS 굽는 것도 그대로다. 참고글에 의하면 아무런 문제 없이 부팅까지 되는 줄 알았으나... 근데 실제로 전원을 인가하면 삐~ 소리가 계속 나면서 멈췄다. 원인원인은 결국 전력 문제였다. SSD가 전력을 SD 대비 훨씬 많이 먹기 때문에 라즈베리파이로는 정상 동작 못 시킬 수 있었다. 알아본 바, 라즈베리파이는 5V 최대 3A (15W)까지 공급할 수 있고 보드 자체 회로와 USB 포트에 이게 분배된다. 그중 USB3.0 포트 1개당 최대 약 1.2A 정도 쓸 수 있도록 분배되어 있..

[Raspberry Pi 4] Arducam 16MP IMX519 카메라 설정

https://www.youtube.com/watch?v=8-yf_tId62o 위 영상을 보면 공식 지원되는 라즈베리 파이 카메라 모듈 V2/V3/HQ 보다 가격, 화각, distortion, color tone, white balance 등 여러 측면에서 낫다고 판단할 만한 모델이 arducam이다. 개인적으로 화각이 80도에 12MP 해상도를 얻을 수 있는 것도 감지덕지인 것 같은데 왜곡이나 색상 같은 부분도 잘 챙겨서 만든 모델이라 쓰기 좋은 것 같다. 가격도 라즈베리파이 카메라 모듈3와 거의 비슷한 수준. 하나 귀찮은 점은 라즈베리파이의 공식 카메라가 아니다 보니 libcamera 명령어가 바로 가능한 상태는 아니라는 것. 따로 추가 설정을 해두어야 한다. 설정 방법https://docs.ard..

3D Gaussian splat PLY 파일 합치기/압축하기 (How to merge/compress 3DGS PLYs)

3D gaussian splatting으로 만든 결과물, ply 파일 여러개를 갖고 동시에 편집하는 일이 종종 있다. 예를 들어, scene ply와 object ply를 합쳐서 공간 안에 물체를 넣은 듯한 결과물을 만들고 싶을 때다. GUI 로는 아주 쉽게 할 수 있다. https://superspl.at/editor/ 여기에 모든 파일을 drag and drop으로 던진 뒤, 원하는 편집을 마친 뒤 내보내기를 하면 하나로 합쳐져서 저장된다. 문제는 이걸 코드로 작성해서 자동으로 하고 싶을 때였다. 이게 javascript 코드다 보니까 코드를 봐선 뭔지 모르겠고 그래서 직접 python으로 만들어봤는데 사소하지만 꽤 귀찮은 작업이었기에 메모해둔다. import torchimport numpy as..

짧은 후기삼체 2가 지구에서 우주로 주 세계관을 옮겼다면, 삼체 3는 우주에서 차원 그리고 시공간으로 세계관으로 한 번 더 넓혔다고 할 수 있을 것 같다. 1~2편에서 내내 빌드업하며 다루었던 삼체 세계에 대한 비밀이 결국엔 또 엄청 사소한 사실처럼 느껴지도록 세계관을 확장한다. 상상으로 따라가기 힘들 정도의 속도로 넓어지는 세계관에 종종 책장을 뒤로 다시 넘겨봐야 하는 일이 있을 정도로 빠르게 확장된다. 새로이 등장하는 요소들도 이해하기가 좀 더 어려웠다. 태양계 우주까지는 지금 우리가 살고 있는 세상에서도 어느 정도 진보된 기술이 있기 때문에 어느 정도 현실 기반의 상상으로 가득차 있었는데 3권에서 다루는 세계로 넘어간 순간 겪어보지도, 추측할 수도 있는 시공간과 차원이기 때문에 철저히 자유로운 상상..

textured mesh를 렌더링하는 툴로 요즘 nvdiffrast를 애용하고 있는데, 약간의 버그 아닌 버그를 발견해서 기록해둔다. 일단 nvdiffrast를 굳이 쓰는 이유는 pytorch3d에 수십만 vertex/face mesh를 올린 뒤 렌더링해보면 오류가 난다. face per pixel 즉 rasterize 과정에서 pixel 당 face를 배정하는 과정에서 face가 너무 많기 때문에 터져버리는 문제가 있다. 이걸 heuristic하게 손으로 틀어 맞춰야 하는데 mesh 데이터를 많이 처리하는 입장에서 이게 너무 번거로웠다. 뚜렷하게 몇개의 vertex/face에서 터지는지도 발견 못하기 때문에 pytorch3d는 오로지 저해상도 textured mesh에서만 유용했다. nvdiffras..

끄적끄적진짜 오랜만에 책을 읽었다. 거의 반년 만에 읽은 것 같다. 3월 ICCV를 준비해보겠다고 한 이후로 제일 먼저 손에서 놓은게 책이었다. (그랬음 안됐다.) 한 번 손에서 책을 놓으니 다시 잡는게 참 어려웠고, 특히 논문처럼 지식 전달이 목적이 아닌 책, 소설 같은 것은 읽는 것 자체가 점점 어색해졌다. 여유가 생긴 김에 어렵사리 책을 다시 잡아서 삼체를 마저 읽기 시작했다. 짧은 후기삼체 1이 지구 혹은 삼체 세계(게임)가 주 배경이었다면 삼체2는 우주가 주 배경이다. 삼체 함대의 지구 침략이 400년 남았다는 걸 알아차린 시점에서 지구가 그 예견된 전쟁을 대비하는 과정이 주로 담겨있다. 삼체1에서 등장했던 인물들 중 일부만 다시 등장하고, 나머지는 그저 큰 역사가 흘러가는 과정 중 지구에서 ..

끄적끄적어느 순간 논문을 읽는 것만 집중하게 된 것 같은데 기초 이론에 대한 공부를 소홀히 한 듯하다. 수학을 알아야 쌓아올릴 줄 아는 것인데 벽돌은 어떻게 만드는지도 모르면서 건물 지을 생각부터 하고 있었다. 이해되지 않는 답답함과 불편함을 견디면서 공부하는 시간을 좀 가져야 겠더라. 그래서 Differential geometry를 좀 공부해보기로 했다. 미분기하에 대해선 (무려) 반년 전부터 관심이 있었지만 지금까지 손대지 않았다. 그때 일단 손 대기 시작했으면 하루에 1장씩만 봤어도 벌써 이론서 1권을 뗐을 시간이라고 생각해보니 지금 당장 시작해야겠다. 자료Keenan Crane이 작성한 Discrete differential geometry : an appilied introduction PDF..

내 맘대로 Introduction Implicit Neural Surface Deformation with Explicit Velocity Fields 의 저자랑 동일한 사람이 90% 같은 내용 + 10% 추가 term으로 연달아 CVPR에 낸 논문. 핵심은 modified level set equation으로 형상 간의 interpolation을 질량 보존이 성립하도록 억제하는 것으로 똑같은데, 추가로 surface stretching, shear 같은 표면 형상 변화를 억제하는 loss를 추가한 점이 차이가 있다. vector field를 요리보고 조리봐서 활용할 수 있는 방법을 계속 캐내는 것이 신기할 뿐이다. 메모내가 볼 땐 전혀 중요한게 아니지만, 저자가 말하길 이전 ICLR 논문에서는 spa..

Neural Implicit Surface Evolution 논문에서 level set equation을 이용해 두 형상 간의 interpolation을 implicit function으로 표현했을 경우 얻을 수 있는 이득에 적잖이 놀랐다. 문득, level set equation에서 a(t)로 표현되는 어떤 한 point의 시간에 따른 trajectory가 들어있는 것을 보고,학습이 완료된 상태라면 저 a'(t) (a(t)는 계산 못함) 를 역계산할 수 있을텐데, 그러면 한 위치 x에서 a'(t)를 따라 적분해나간다면 x의 trajectory를 표현할 수 있는거 아닌가? 라는 궁금증이 생겼다. 만약 그게 된다면, geometry A 의 vertex들을 입력으로 넣고 a'(t)를 이용해 trajector..