CODERNER

Ubuntu PC에서 실험용 서버든 어디든 파일 옮길 일이 있을 때마다 scp를 애용하는데, 용량이 너무 클 때는 대기 시간이 너무 길다. scp는 기본적으로 하나의 연결로만 파일을 전송하기에 터미널을 여러 개 띄우고 직접 하나하나 타이핑해야 병렬처리가 가능한데 이 방법이 너무 무식해서 다른 방법을 찾아 정리한다. 1. 개수는 적은데 개당 용량이 클 때scp -C file.txt user@host:/path/to/destination/ 개수가 많거나 폴더 구조가 복잡하지 않을 때, 큼직큼직한 파일을 전송하는 것만 빠르게 하고 싶을 경우에 적합하다. 물론 아래 개수가 많을 때 쓰는 방식 써도 된다. 2.  개수가 많을 때 2-1. rsync 사용하기rsync -avz --progress file.txt u..

학습용 서버든, 서비스용 서버든 보통 원격 접속(GUI가 보통 없으니 ssh)으로 컨트롤하게 되는데,  항상 돌아가야 하는 코드가 있을 경우 원격 접속 터미널을 닫아버리면 서버 코드가지 멈춰버리기 때문에 귀찮다. 실수로라도 로컬 PC 터미널을 닫거나 로컬 PC를 꺼야되는 일은 상당히 빈번한데 이 때마다 서버 코드가 멈춰버리면 힘들다. 이 문제를 해결하기 위해 보통 사용하는 것이 Tmux다. 간단하게 말하면 겉모습은 똑같지만, 터미널을 닫아도 터미널 화면만 닫힐 뿐 PC에서는 계속 터미널이 떠있는 것과 같이 만든다. 따라서 tmux session 내에서 원격 접속을 해둘 경우, 터미널을 닫아도 원격 접속이 계속 유지되는 상태로 만들 수 있다.  여러 사용 커맨드들이 있지만 최소로 불편하지 않을 정도로 사용..

아침에 출근하니까 갑자기 디스크 용량 부족 경고가 떴다. 디스크 잔여 공간이 0이 돼버리면 부팅도 안되는 운영체제가 우분투이다 보니까 디스크 관리를 미리미리 해야하는데 게을러서 안했더니 그 직전까지 왔더라. 확인해보니 대부분 코드나 가상환경 파일이어서 지울건 딱히 없고, 눈에 띄는 건 .cache 안에 가득찬 쓰레기들과.... 가상환경에 설치하기 위해 받아둔 패키지들이 차지하는 쓰레기가 많더라. 함부로 지우기엔 무서우니 일일이 삭제 방법을 찾아봤는데 유용한 건 다음과 같다. pip, condapip cache purge conda clean -all 일단 이 두 개를 치면 최소 pip, conda에서 지금 사용되지 않는 것들은 싹 지워진다. JetBrains나 같은 경우 pycharm cache가 잔뜩 ..

google drive로 공유된 파일들은 자동으로 다운받을 때 압축 과정을 거친다. 파일 사이즈가 클 때 시간이 오래 걸릴 뿐더러 압축이 실패하는 경우도 빈번하고, 더욱 짜증나는 부분은 제멋대로 분할 압축한다는 것이다.  사진 보관 정도의 사용자라면 별 문제 없겠지만 데이터 공유용으로 쓸 경우, 속도나 이름/구조 따위가 중요하기 때문에 구글 드라이브가 답답한 부분이 많다. 다행히도 위 언급한 자동압축/속도/분할압축 문제 중에 속도만 해결할 수 없고 압축 관련된 건 구글 드라이브를 직접 mount하는 방식으로 피할 수 있다. (매 파일 클릭해서 다운로드하는 수고를 덜어주는 것 만해도 감사하다.) 해결법https://99rdp.com/how-to-connect-google-drive-in-ubuntu/ Ho..

원격 서버에 있는 폴더로부터 파일을 받거나, 폴더로 파일을 올리는 경우 터미널을 통해 하면 귀찮을 때가 많다. 특히 커맨드 실수했다간 파일을 통째로 날려먹을 일도 생길 수 있으니 개인적으로 파일 올리고 내리는 것은 GUI로 보고 drag and drop, copy and paste하는게 안전하다고 생각한다. SSD를 ubuntu에 마운트하듯이 ssh로 붙는 원격 서버의 폴더를 로컬 PC에 마운트할 수도 있는데 그 방법을 정리한다. 아주 간단하다. sudo apt updatesudo apt install sshfs # file system sshfs를 설치해둔 뒤, 다음 커맨드 한 방이면 끝난다. sshfs -p PORT_NUMBER USER@xxx.xxx.xx:SERVER_FOLDER_PATH LOCAL..

ssh로 서버에 붙은 이후에 파일을 올리고 내릴 일이 많다. 서버에서 데이터를 꺼내서 보는 경우도 많고 실험용 데이터를 올리는 일도 많다. 이 때 scp를 이용하면 아주 간단하게 파일을 올리고 내릴 수 있는데 명령어를 맨날 헷갈려서 기록해둔다. 파일 올리기 scp -P [포트번호] -r [local경로, 상대경로 가능] SERVER_ID@SERVER_IP:[원격 경로, 절대경로로] 예시 scp -r /home/jseob/Desktop/data remote@xx.xx.xx:/home/data -r 을 추가하면 recursive하게 동작하므로 폴더 단위를 올릴 수 있고, 파일 1개일 경우 -r 빼면 된다. 중간에 띄어쓰기와 :을 잊지 말자 파일 가져오기 scp -P [포트번호] -r SERVER_ID@SER..

원격 업무 ubuntu PC로 본다면 사실 상 ssh는 필수다. 터미널만 있으면 작업이 가능한데다, vscode가 remote docker container에도 붙을 수 있기 때문에 GUI 작업도 ssh로 붙을 수만 있으면 ubuntu 원격은 쉽다. 그런데 매번 설정할 때마다 간단한 듯 하면서도 자잘한 오류나 삽질을 많이 해서 한 번 정리해두고자 한다. Server, Client 공통으로 할 일 ssh가 기본이니 ssh는 설치가 당연히 되어있어야 한다. sudo apt update sudo apt install ssh sudo service ssh start service ssh status 아래와 같이 active (running) 상태로 보이면 정상적으로 설치되고 동작하고 있는 것이다. Issue 간..

find . -name "FILE_NAME" -type f find . -name "DIRECTORY_NAME -type d find . -empty find . -name "FILE_NAME" -delete Linux에서 파일 경로 찾는 일이 생각보다 빈번한데 root 위치에서 find 커맨드를 이용하면 손쉽게 찾을 수 있다. 자주쓰는 flag는 다음과 같다. -name : 이름을 적으면 된다. prefix* 혹은 *postfix 형태로 전체 찾기가 유용하다. -type : d는 디렉토리, f는 파일을 의미한다. 찾고자 하는 대상 타입에 따라 지정해두면 리스트를 줄일 수 있다. -empty : 정리하는 과정에서 비어있는 디렉토리나 파일을 찾기 쉽다. -delete : 앞선 조건에 맞는 파일들을 직접 지..

ubuntu는 디스크 사용량이 100% 꽉 차면 부팅이 안되거나 무한 부팅 문제에 걸리는 OS인 만큼 용량 관리를 종종 해주어야 한다. 기본적으로 ubuntu에는 disk usage analyzer라는 프로그램이 설치되어 있는데 이를 이용하면 어떤 파일이 용량을 많이 먹고 있는지 확인하기가 용이하고 바로 삭제할 수도 있어서 좋다. 실제로 사용 중인 파일들이 용량을 주로 차지하는 경우도 있지만 간혹 .cache 폴더가 100~200GB 씩 잡아먹고 있을 때가 있다. 특히 그런 경우 .cache/JetBrains 나 .cache/pip 등 수십 GB를 먹는 일이 잦다. 내 경험 상 Pycharm을 사용할 때 이미 열려있는 폴더를 또 열려고 시도할 때 pycharm이 먹통이 되어버리는 버그가 있는데, 이 때마..

Ubuntu에서 작업하면 전부 다 터미널을 사용하게 되는데, 매 작업마다 새로운 터미널을 쓰면 관리가 힘들다. 여러 개의 터미널을 쓰는 건 동일하지만 터미널끼리 붙어있기만 해도 보기가 편한데 이 때 딱 좋은 프로그램이 있다. 이름이 거창하게 터미네이터(Terminator) (ㅋㅋ)인데 설치도 쉽고 사용도 쉽다. 설치 sudo apt-get install terminator 완료되면 새 터미널 열 때부터 자동 적용된다. 사용법 터미널 위아래로 쪼개기 : Ctrl + Shift + O 터미널 좌우로 쪼개기 : Ctrl + Shift + E 터미널 넘나들기 : Ctrl + Tab 현재 터미널만 끄기 : Ctrl + Shift + W 주의 사항 터미널 좌우로 쪼개는 Ctrl + Shift + E 커맨드가 안 먹..