HanSeokhyeon.log HanSeokhyeon.log

개요 KoAlpaca, KULLM과 같은 한국어 LLM도 많이 등장하고 있다. 하지만 모델 크기가 너무 커서 가지고 있는 GPU로 모델을 돌리기엔 메모리가 부족하다... 따라서 양자화를 시도해 띄워본다. KoAlpaca https://github.com/qwopqwop200/GPTQ-for-KoAlpaca GitHub - qwopqwop200/GPTQ-for-KoAlpaca Contribute to qwopqwop200/GPTQ-for-KoAlpaca development by creating an account on GitHub. github.com 이미 똑똑하신 분들이 다 코드를 공개해두었다. Dockerfile 환경구축을 위해 도커를 사용하였다. CPU 버전도 있는거 같지만 GPU 버전으로 사용했다..

ABSTRACT 본 논문은 적은 데이터로 뉴럴넷 오디오 classifier의 학습을 향상시키는 학습 전략을 제안한다. a naive regularization of solution space prototypical networks transfer learning 위 방법들의 조합 위 방법들은 적은 데이터의 영향력을 키운다. 최종적으로 본 논문에서는 class 마다 1~100 개의 예제를 사용해 acoustic event recognition과 acoustic scene classification의 성능을 측정하였다. Transfer learning이 가장 높은 성능을 가진다. 그러나 prototypical networks는 외부 데이터나 validation 데이터와 함께 count 하지 않을때 더 높은 ..

Abstract TTS 시스템은 전형적으로 text analysis frontend, acoustic model, audio 합성 모듈과 같은 multiple stage의 시스템이다. 이러한 컴포넌트들을 구성하는 것은 특정 도메인의 전문지식이 요구되고 불안정한 디자인 선택이 포함된다. 이 논문에서 character로부터 직접 음성을 합성하는 end-to-end TTS 모델인 Tacotron을 제안한다. pair가 주어지면, 이 모델은 랜덤 초기화후 처음부터 완벽하게 학습될 수 있다. Sequence-to-sequence 프레임워크가 이 어려운 태스크를 위해 잘 동작하기 위한 몇가지 중요한 테크닉들을 제안한다. Tacotron은 미국 영어를 타겟으로 5점 만점의 mean opinion score에서 3.8..

Introduction Feature extraction과 waveform-reading code는 MFCC와 PLP features를 만드는 것을 목표로 한다. Mel bin의 수나 minimum maximum freq 등 옵션들을 합리적인 디폴트로 설정한다. 이 코드는 오직 pcm data가 들어있는 .wav 파일을 사용한다. 흔히 .wav나 .pcm의 확장자를 가진다. 만약 데이터가 .wav가 아니면 사용자가 바꾸어야 한다. Command line tool인 compute-mfcc-feats와 compute-plp-feats는 다른 kaldi tool과 함께 feature들을 계산한다. Arguments 없이 실행하면 옵션들을 알려줄 것이다. Computing MFCC features 이 파트에서는..

ESPnet에서 data preparation을 kaldi style로 하고 있어서 document를 공부해보려 한다. Kaldi의 documentation은 Apache 2.0 라이센스를 따르고 있으므로 출처를 정확히 밝힌다. Introduction 예제 스크립트를 실행한 후에, 자신의 데이터로 kaldi 음성인식을 개발하고 싶을 것이다. 이 섹션은 어떻게 데이터를 준비하는지에 대해 설명한다. 이 페이지는 예제 스크립트의 최신 버전을 사용중이라고 가정한다. (ex egs/rm/s5/). Top-level인 run.sh 스크립트는 data preparation의 다양한 방법들과 관련된 command가 존재한다. local이라는 디렉토리는 data에 따라 다르게 작성된다. 예를 들어 RM setup과 WS..

지난번에 an4를 CPU로 돌려보았다. 굉장히 오래 걸리는 것을 경험했고 이번에는 GPU로 돌려볼 계획이다. 1. 바로 실행? cd docker ./run.sh --docker-gpu 0 --docker-egs an4/asr1 --ngpu 1 output: write a CER (or TER) result in exp/train_nodev_pytorch_train_mtlalpha1.0/decode_test_decode_ctcweight1.0_lm_word100/result.txt | SPKR | # Snt # Wrd | Corr Sub Del Ins Err S.Err | | Sum/Avg | 130 2565 | 91.2 4.1 4.7 0.6 9.4 51.5 | CPU로는 1시간정도 걸린거 같은데 GPU로..

ESPnet은 speech와 관련된 다양한 태스크를 end-to-end로 해결하려는 툴킷이다. Speech에 대한 연구를 하고 있는 입장으로서 ESPnet에 대한 공부를 시작해볼까 한다. 첫번째로 시도할 것은 가장 중요한 설치이다. 대강 설치하는 방법을 읽어보니 역시나 복잡하다. 이리저리 쓰는 패키지도 많고 Kaldi도 쓰고 PyTorch도 쓰고 CUDA도 쓰고... 하지만 docker를 지원하기 때문에 그냥 docker image 받아서 사용하려 한다. github.com/espnet/espnet espnet/espnet End-to-End Speech Processing Toolkit. Contribute to espnet/espnet development by creating an account o..

자연어 처리 태스크의 가장 흔한 접근방법은 RNN을 사용하는 것 문장에서 다음 문자를 예측하는 character RNN 텍스트의 나머지 정보 없이, 매 iteration마다 텍스트의 랜덤한 비율만 학습하는 stateless RNN 그다음은 stateful RNN, 학습하는 iteration들 사이에 hidden state를 보존하고 오른쪽으로 차례로 읽는 Sentiment analysis를 생성하는 RNN (영화 리뷰를 읽고 평가자의 감정을 추출하는) Encoder-Decoder 구조를 사용해 NMT 두번째 파트로 attention mechanisms Attention을 사용하는 RNN-based Encoder-Decoder 구조 Transformer GPT-2 and BERT Generating Sha..