HanSeokhyeon.log HanSeokhyeon.log

자연어 처리 태스크의 가장 흔한 접근방법은 RNN을 사용하는 것 문장에서 다음 문자를 예측하는 character RNN 텍스트의 나머지 정보 없이, 매 iteration마다 텍스트의 랜덤한 비율만 학습하는 stateless RNN 그다음은 stateful RNN, 학습하는 iteration들 사이에 hidden state를 보존하고 오른쪽으로 차례로 읽는 Sentiment analysis를 생성하는 RNN (영화 리뷰를 읽고 평가자의 감정을 추출하는) Encoder-Decoder 구조를 사용해 NMT 두번째 파트로 attention mechanisms Attention을 사용하는 RNN-based Encoder-Decoder 구조 Transformer GPT-2 and BERT Generating Sha..