HanSeokhyeon.log HanSeokhyeon.log

개요 KoAlpaca, KULLM과 같은 한국어 LLM도 많이 등장하고 있다. 하지만 모델 크기가 너무 커서 가지고 있는 GPU로 모델을 돌리기엔 메모리가 부족하다... 따라서 양자화를 시도해 띄워본다. KoAlpaca https://github.com/qwopqwop200/GPTQ-for-KoAlpaca GitHub - qwopqwop200/GPTQ-for-KoAlpaca Contribute to qwopqwop200/GPTQ-for-KoAlpaca development by creating an account on GitHub. github.com 이미 똑똑하신 분들이 다 코드를 공개해두었다. Dockerfile 환경구축을 위해 도커를 사용하였다. CPU 버전도 있는거 같지만 GPU 버전으로 사용했다..