pandas를 이용해서 dataframe을 생성, 가공한 뒤 출력할 때 데이터프레임이 전체적으로 다 나오지 않는 경우가 default이다. 즉, 데이터프레임 출력을 한다고 하더라도 안의 내용물이 제대로 다 출력되지 않을 경우가 많다. 데이터프레임 내 내용을 모두 보고자 하는 경우에는 아래 옵션을 이용해 width을 최대로 넓힐 수 있다. import pandas as pd pd.set_option('display.max_colwidth', -1)
랜덤한 seed를 설정해주는 가장 큰 이유는 결과의 무작위성을 잠재우기 위함이다. seed를 설정하지 않고 무작정 코드를 돌리다보면 똑같은 코드를 이용하더라도 일전에 얻은 결과와 다른 결과가 나올 수 있다. 따라서, 결과의 일관성을 보장하기 위해 random seed를 세팅해야 한다. 아래는 내가 주로 사용하는 모든 요소에 대해서 동일한 seed를 적용하는 seed_everything 함수이다. 이거면 왠만한 것에 대해서는 동일한 random seed가 부여된다. def seed_everything(seed: int = 42): random.seed(seed) np.random.seed(seed) os.environ["PYTHONHASHSEED"] = str(seed) torch.manual_seed(s..
Jupyter notebook에서 라이브러리를 설치할 때, pip나 conda 명령어를 사용하다보면 잘 설치되는 라이브러리도 있지만, 중간에 Proceed (y/n)?으로 질문이 나오는 경우 더 설치를 진행할지 말지, 결정해야할 때가 있다. 이때 주로 cmd 환경에서 진행되거나 vscode 상에서라면 cell도 있으면서 cmd 명령어를 입력할 수 있는 창도 있어서 가능하지만, jupyter notebook과 같은 경우 설치 진행 중일 때 키 입력이 터미널 환경으로 전달되지 않기 때문에 -y와 같은 옵션을 먹지 않는다. 다음과 같은 방법을 이용해서 미리 답변을 지정해줄 수 있다. 1) echo 명령어 사용 echo "y" | !pip install [설치하고자 하는 패키지명] 2) 옵션어 추가 !pip..
사용하는 서버에 할당된 GPU의 실시간 사용량을 확인하고 싶은 경우가 있다. 1) 정적인 GPU 사용량 확인 방법 이 경우에는 내가 명령어를 입력하는 순간의 GPU 사용량을 snapshot처럼 포착해서 확인할 수 있다. watch nvidia-smi 2) N초마다 GPU 사용량 확인 방법 내가 설정하는 N초마다의 GPU의 실시간 사용량을 확인할 수 있다. watch -n [N] nvidia-smi 나의 경우, 주로 0.01초마다 확인해서 아래의 명령어를 자주 사용한다. watch -n 0.01 nvidia-smi
남들과 서버를 공유해서 사용할때, 설치하는 패키지가 겹치면 골치아픈 일이 많이 발생한다. 따라서 이때는 각자만의 공간, 가상환경을 만들어서 내가 만든 가상환경 내에서 활동해주는게 코딩 예절이라고 배웠다. 아니면 나 혼자 서버를 사용하더라도 프로젝트마다 요구되는 dependency나 패키지의 버전이 다르기 때문에 가상환경을 프로젝트별로 만들어서 사용하는 것이 훨씬 유용하다. 1) 가상환경을 새롭게 만드는 방법 python -m venv [가상환경명] 2) 기존에 만들어둔 가상환경에 접속하는 방법 source [가상환경명]/bin/activate 이때 접속 명령어가 너무 길다면 alias로 단축키 설정을 해줘도 좋다. 이 부분은 Back to Basics > TIL > alias 설정하는 방법 게시글을 참고..
간혹 자주 사용하는 명령어인데 매번 입력하기 귀찮은 경우가 많다. 나 같은 경우에는 source activate [가상환경명]을 서버에서 튕길때마다 계속 입력해야 했는데 이 부분이 너무 불편했다. 그래서 이렇게 자주 사용하는 명령어들에 대해서 단축키를 설정해 단축키를 입력하면 해당 명령어를 입력하는 효과를 내고 싶었다. 이건 alias를 통해 해결할 수 있다. 우선 터미널에 vim ~/.bashrc 를 입력하면 bashrc 파일을 보여준다. 내 파일은 아래와 같다: 여기서 보면 alias라고 되어있는 것을 볼 수 있다. 이 부분이 단축키를 설정해주는 부분이다. vim 파일에서 INSERT 모드로 들어가준 다음에 alias가 있는 위치에 alias 명령어를 입력해주면 된다. 이때 문법은: alias {단축..
tmux는 terminal multiplexer로 여러개의 터미널을 각각 독립적으로 돌아가도록 도움을 주는 유틸리티이다. 리눅스 원격 연결이 꺼져도 서버가 꺼지지 않는 장점을 갖고 있어 소규모 실험을 진행할때도 자주 애용한다. 옛날에는 tmux의 존재를 알지 못해 서버가 꺼질까봐 항상 지하철에서도 노트북을 켜두고 다녔는데 ... tmux는 프라이빗하게 나에게만 보이도록 사용하거나 같이 나눠보는 용도 2가지로 사용할 수 있다. 우선 tmux 세션 리스트를 보려면: tmux ls 을 입력하면 현재 내가 열어둔 tmux 세션들이 리스트업되어 보여진다. 새로운 tmux 세션을 만드려면: tmux new -s [세션명] 세션명에 열고 싶은 세션의 이름을 입력한다. 주로 이 세션에서 돌릴 실험의 제목 정도로 지어..
사용하는 패키지나 함수 등이 deprecated 되었다고 해서 이런저런 warnings가 계속해서 뜨는 경우, 진짜 보고싶은 output이 warnings에 가려져서 불편한 경우가 있다. 이런 경우, 가벼운 warnings를 무시하고 안 뜨도록 해주는 방법이 있다. import warnings warnings.filterwarnings("ignore")
종종 보면 tar.gz 형태로 되어있는 파일들을 볼 수 있다. tar.gz는 보관의 용이성을 위해 하나의 파일 내에 여러 파일을 모아놓은 파일 모음집 정도로 이해할 수 있다. 보통 윈도우에서의 zip 파일이 리눅스에서의 tar 파일과 동일하다고 보면 된다. Github repo들에서도 크기가 큰 파일이나 여러개의 파일들 (예: language별로 나뉘어진 mulitilingual 데이터 파일)은 tar.gz 확장자로 된 경우가 많다. 이런 파일로 압축화하거나 압축된 파일을 푸는 방법을 배웠다. 1) 파일 압축화 [파일명.tar.gz] - 파일 이름 [폴더명] - 압축한 파일을 저장한 폴더 디렉토리 tar -zcvf [파일명.tar.gz] [폴더명] 2) 파일 압축 푸는 방법 tar -zxvf [파일명.t..
