전체 글
-
[AutoGPTQ] KoAlpaca 양자화하기ML/딥러닝 2023. 8. 18. 15:54
개요 KoAlpaca, KULLM과 같은 한국어 LLM도 많이 등장하고 있다. 하지만 모델 크기가 너무 커서 가지고 있는 GPU로 모델을 돌리기엔 메모리가 부족하다... 따라서 양자화를 시도해 띄워본다. KoAlpaca https://github.com/qwopqwop200/GPTQ-for-KoAlpaca GitHub - qwopqwop200/GPTQ-for-KoAlpaca Contribute to qwopqwop200/GPTQ-for-KoAlpaca development by creating an account on GitHub. github.com 이미 똑똑하신 분들이 다 코드를 공개해두었다. Dockerfile 환경구축을 위해 도커를 사용하였다. CPU 버전도 있는거 같지만 GPU 버전으로 사용했다..
-
SQL 중복확인 & 중복제거 조회 & 중복제거SQL 2023. 1. 26. 14:28
개요 개발하다보니 중복을 확인하고 제거할 일이 있어 기록 중복확인 SELECT COL_1, COL_2, COUNT(*) FROM TABLE GROUP BY COL_1, COL_2; --HAVING COUNT(*) > 1; 중복제거 조회 SELECT DISTINCT COL_1, COL_2 FROM TABLE; 중복제거 DELETE TABLE WHERE PK IN ( SELECT A.PK FROM TABLE A INNER JOIN ( SELECT MAX(PK) AS PK, COL_1, COL_2, COUNT(*) FROM TABLE GROUP BY COL_1, COL_2 HAVING COUNT(*) > 1 ) B ON A.COL_1 = B.COL_2 AND A.COL_1 = B.COL_2 AND A.PK !..
-
엑셀 업로드 에러Java 2023. 1. 10. 10:12
개요 @Override public void uploadSampleExcel(MultipartFile file) { try { XSSFWorkbook workbook = new XSSFWorkbook(OPCPackage.open(file.getInputStream())); // 여기서 발생 XSSFSheet sheet = workbook.getSheetAt(0); } catch (Exception e) { e.printStackTrace(); log.error(e.getLocalizedMessage()); } } 엑셀을 업로드하여 파싱하는 과정에서 아래와 같은 에러가 발생했다. org.apache.poi.openxml4j.exceptions.OLE2NotOfficeXmlFileException: The ..
-
Feign 다이나믹하게 proxy 사용하기Java 2022. 4. 13. 09:50
개발을 하다보면 naver.com은 proxy server를 통하고 싶고 google.com은 proxy server를 통하고 싶지 않을 때가 있다. 그러나 보통 System Property로 proxy를 설정하면 전역적으로 proxy가 적용된다. 따라서 다이나믹하게 proxy를 적용할 수 있는 방법을 연구했고 기록을 남긴다. System Property 사용하기 https://11st-tech.github.io/2021/09/07/proxy-setting-guide/ Java proxy setting guide | 11번가 TechBlog — 11번가 기술블로그 안녕하세요. 11번가 Platform Engineering 팀의 서버 개발자 김보배 입니다. 서버 구성에서 보안적인 이유 등으로 Proxy 서..
-
Feign 다이나믹 headerJava 2022. 4. 12. 18:03
Client.java @FeignClient(name = "a", url = "localhost", fallbackFactory = ClientImpl.class) public interface Client { @PostMapping(value = "/text", consumes = MediaType.MULTIPART_FORM_DATA_VALUE) ResultDto getText(@RequestHeader("Authorization") String token, @RequestPart(value = "type") String type); } @RequestHeader("헤더명") String header로 Client 코드에 등록하고 사용하면 된다. Service.java ResultDto text = c..