HanSeokhyeon.log HanSeokhyeon.log

개요 KoAlpaca, KULLM과 같은 한국어 LLM도 많이 등장하고 있다. 하지만 모델 크기가 너무 커서 가지고 있는 GPU로 모델을 돌리기엔 메모리가 부족하다... 따라서 양자화를 시도해 띄워본다. KoAlpaca https://github.com/qwopqwop200/GPTQ-for-KoAlpaca GitHub - qwopqwop200/GPTQ-for-KoAlpaca Contribute to qwopqwop200/GPTQ-for-KoAlpaca development by creating an account on GitHub. github.com 이미 똑똑하신 분들이 다 코드를 공개해두었다. Dockerfile 환경구축을 위해 도커를 사용하였다. CPU 버전도 있는거 같지만 GPU 버전으로 사용했다..

ABSTRACT 본 논문은 적은 데이터로 뉴럴넷 오디오 classifier의 학습을 향상시키는 학습 전략을 제안한다. a naive regularization of solution space prototypical networks transfer learning 위 방법들의 조합 위 방법들은 적은 데이터의 영향력을 키운다. 최종적으로 본 논문에서는 class 마다 1~100 개의 예제를 사용해 acoustic event recognition과 acoustic scene classification의 성능을 측정하였다. Transfer learning이 가장 높은 성능을 가진다. 그러나 prototypical networks는 외부 데이터나 validation 데이터와 함께 count 하지 않을때 더 높은 ..

자연어 처리 태스크의 가장 흔한 접근방법은 RNN을 사용하는 것 문장에서 다음 문자를 예측하는 character RNN 텍스트의 나머지 정보 없이, 매 iteration마다 텍스트의 랜덤한 비율만 학습하는 stateless RNN 그다음은 stateful RNN, 학습하는 iteration들 사이에 hidden state를 보존하고 오른쪽으로 차례로 읽는 Sentiment analysis를 생성하는 RNN (영화 리뷰를 읽고 평가자의 감정을 추출하는) Encoder-Decoder 구조를 사용해 NMT 두번째 파트로 attention mechanisms Attention을 사용하는 RNN-based Encoder-Decoder 구조 Transformer GPT-2 and BERT Generating Sha..

대부분의 머신 러닝 기술들이 supervised learning에 기반하여 발달하고 있지만, 사실 대부분의 데이터는 라벨링이 되어 있지 않다. Input feature X가 존재하지만 라벨 y는 존재하지 않는다. 세상 대부분의 문제들이 unsupervised인 경우가 많으므로 unsupervised learning은 큰 잠재력을 내포하고 있다. 생산 라인에서 제품의 사진을 가져와서 제품의 결함을 발견하는 시스템을 만든다고 하자. 자동으로 사진을 찍는 시스템을 만들면 하루에 수천장의 사진을 얻을 수 있을 것이다. 몇 주 동안 사진을 계속 찍는다면 매우 큰 데이터셋을 만들 수 있을 것이다. 그러나 라벨이 없다. 만약 결함이 있는지 없는지 판단하는 binary classifier를 만든다면, 'defectiv..

실생활 한 명의 전문가의 의견 < 다수의 일반인의 의견 일 때도 있다. 딥러닝 하나의 best predicter < 다수의 적당한 predicter 인 경우가 존재. Ensemble - predicter들의 그룹 Ensemble learning - 여러 개의 predicter를 사용하는 방법 Ensemble method - ensemble learning에 사용되는 알고리즘 예시 Random Forests training set에서 서로 다른 subset을 만들어 decision tree classifier를 학습시키는 경우 다양하게 학습된 dicision tree classifier로 투표를 해 최종 predict Machine Learning competition 최종 성능을 끌어 올리기 위해 여러가..