GPU
-
[Docker for ML #1] 설치와 기본 명령어개발 환경/Docker 2020. 8. 28. 15:32
Docker는 현재 다양한 개발 분야에서 사용되고 있다. 딥러닝 개발자는 CUDA나 TensorFlow, PyTorch 등 버전이 충돌할 때 docker를 찾게 된다. 1. 설치 sudo apt install docker.io 2. sudo 권한 부여 Docker는 기본적으로 sudo 권한을 필요로 한다. 매번 sudo를 붙여주는 것은 귀찮으니 현재 user에게 docker를 sudo 권한으로 사용할 수 있게 해주자. sudo usermod -aG docker $USER 명령어를 쳤으면 터미널을 껐다가 다시 키자. 3. 설치 확인 docker --version output: Docker version 19.03.8, build afacb8b7f0 4. run 테스트로 tensorflow 이미지를 받아서 ..
-
ESPnet an4 예제 실행하기 (GPU)ML/ESPnet 2020. 7. 23. 16:53
지난번에 an4를 CPU로 돌려보았다. 굉장히 오래 걸리는 것을 경험했고 이번에는 GPU로 돌려볼 계획이다. 1. 바로 실행? cd docker ./run.sh --docker-gpu 0 --docker-egs an4/asr1 --ngpu 1 output: write a CER (or TER) result in exp/train_nodev_pytorch_train_mtlalpha1.0/decode_test_decode_ctcweight1.0_lm_word100/result.txt | SPKR | # Snt # Wrd | Corr Sub Del Ins Err S.Err | | Sum/Avg | 130 2565 | 91.2 4.1 4.7 0.6 9.4 51.5 | CPU로는 1시간정도 걸린거 같은데 GPU로..
-
Docker, docker-compose에 원하는 GPU만 할당하기개발 환경/Docker 2020. 5. 21. 14:20
현재 내 서버에는 GPU가 2개 있는데 학습하고 있는 코드는 multi-gpu 코드가 아니다. 그러므로 2개의 GPU에 각각 코드를 돌린다면 2번의 실험을 동시에 할 수 있다. 그래서 docker-compose를 이용해 특정 GPU만 할당하는 방법을 알아보았다. 0. GPU 확인 nvidia-smi output: 1070 2개가 보인다. GPU index는 0부터 시작하여 2개니깐 1에서 끝난다. 1. docker docker run -e NVIDIA_VISIBLE_DEVICES=1 hsh0322/las-pytorch python3 train.py 위와 같이 -e NVIDIA_VISIBLE_DEVICES=(원하는 GPU number)로 옵션을 넣어주면 된다. 2. docker-compose version..
-
docker --runtime=nvidia default로 바꾸기 (GPU 사용 default)개발 환경/Docker 2020. 2. 26. 13:24
docker container에서 GPU를 사용하기 위해 docker의 runtime을 nvidia로 설정해줘야한다. 하지만 Pycharm과 같은 IDE에서 docker를 사용할 때는 매우 번거롭다. 그러므로 docker 차원에서 runtime을 nvidia로 default 설정해주자. 1. nvidia-smi test docker run --rm ubuntu nvidia-smi output: nvidia-smi: command not found --runtime=nvidia docker run --rm --runtime=nvidia ubuntu nvidia-smi output: Wed Feb 26 04:19:07 2020 +--------------------------------------------..