개발 환경
-
AWS로 딥 러닝 모델 학습하기개발 환경/AWS 2020. 4. 18. 15:56
https://aws.amazon.com/ko/getting-started/hands-on/train-deep-learning-model-aws-ec2-containers/?nc1=h_ls Train a Deep Learning model with AWS Deep Learning Containers on Amazon EC2 Sorry to disappoint you Is something out-of-date, confusing or inaccurate? Please help us improve this tutorial by providing feedback. aws.amazon.com 심심할 때마다 프로그래머스, 원티드 같은 취업사이트에서 머신러닝 엔지니어를 구직하는 글을 보곤 한다. 많은 회사들이 A..
-
Docker compose 원하는 log만 출력하기개발 환경/Docker 2020. 4. 16. 17:48
기본적으로 docker-compose up 으로 container들을 실행하면 모든 서비스에 대해 log가 다 출력된다. 1. docker compose detached 모드로 실행 docker-compose up -d output: Creating network "listen-attend-and-spell-pytorch_default" with the default driver Creating listen-attend-and-spell-pytorch_train_1 ... done Creating listen-attend-and-spell-pytorch_tensorboard_1 ... done 생성되며 백그라운드에서 실행된다. 2. 특정 서비스에 대해서만 log 출력 docker-compose logs ..
-
딥 러닝을 위한 docker-compose 설치 및 사용법 [pytorch, tensorboard 예제]개발 환경/Docker 2020. 4. 11. 17:49
Docker를 도입한지 시간이 흘렀고, 현재 가장 Low-level로 사용중이다. docker run ...으로 시작하는 명령어를 통해 컨테이너를 만들고 실행한다. 이제는 익숙해졌지만 사실 docker-compose라는 자동화된 패키지가 있는 것을 알고 있었다. 이번 기회에 한번 docker-compose를 사용하여 생산성을 높여볼까 한다. 0. Docker로 딥 러닝 하기 위한 준비 https://hanseokhyeon.tistory.com/entry/Docker-Pytorch-GPU로-딥-러닝-개발하기?category=854704 Docker + Pytorch + GPU로 딥 러닝 개발하기 https://www.slideshare.net/MichaelDucy/the-future-of-everythin..
-
Mac에서 한글 인코딩 다 깨졌을 때 모든 파일 변경하기 (find, read, iconv)개발 환경/Mac 2020. 3. 16. 19:52
윈도우에서 만든 txt 파일이 맥에서 열면 위와 같이 고대어가 된다. 찾아보니 원인은 윈도우에서 작성된 파일이 'cp949'로 인코딩되었기 때문이란다. 폴더 하부에 있는 모든 txt파일까지 전부 다시 'uft-8'로 바꿔보자. 1. find 명령어 find 명령어는 검색어에 따라 파일을 찾아주는 명령어이다. 나의 타겟은 txt파일이다. find . -name "*.txt" 위에 .은 현재 디렉토리를 말하고 현재 디렉토리부터 하위 디렉토리까지 모두 검색한다. -name은 검색어고 "*.txt"에서 *은 모든 경우을 말한다. 위 명령어를 실행하면 현재 디렉토리부터 하위 디렉토리까지 모든 txt파일을 찾아준다. 2. iconv 명령어 iconv 명령어는 문자열의 인코딩을 바꿔주는 명령어이다. 나는 현재 'cp..
-
서버에서 Docker + tensorboard 사용하기개발 환경/Docker 2020. 3. 11. 15:08
0. 내 환경 및 계기 Local macOS Server Ubuntu 18.04 Docker Docker image Ubuntu 18.04 tensorflow tensorboard 실험해본 결과 컨테이너에 tensorboard만 있고 tensorflow만 있으면 안된다. 우선 요새 모든 프로젝트를 docker 기반으로 진행중이다. 그러다가 tensorboard를 사용해야 할 일이 생겼다. 최대한 server의 패키지를 사용하지 않는 것이 목표이기 때문에 tensorboard도 docker 컨테이너에서 돌려보고자하였다. 1. 설치 위에 보여준 환경처럼 필요한 환경이 모두 구축되어 있어야한다. pytorch에 tensorboard를 사용중인데 tensorflow까지 깔아야 한다는게 억울하다... 2. 예제 ..
-
docker --runtime=nvidia default로 바꾸기 (GPU 사용 default)개발 환경/Docker 2020. 2. 26. 13:24
docker container에서 GPU를 사용하기 위해 docker의 runtime을 nvidia로 설정해줘야한다. 하지만 Pycharm과 같은 IDE에서 docker를 사용할 때는 매우 번거롭다. 그러므로 docker 차원에서 runtime을 nvidia로 default 설정해주자. 1. nvidia-smi test docker run --rm ubuntu nvidia-smi output: nvidia-smi: command not found --runtime=nvidia docker run --rm --runtime=nvidia ubuntu nvidia-smi output: Wed Feb 26 04:19:07 2020 +--------------------------------------------..