자연어처리 (1) 썸네일형 리스트형 [Week8] 특강 [Day2] *자연어 처리를 위한 언어 모델의 학습과 평가 1.언어 모델링 (Language Modeling) 주어진 문맥을 활용해 다음에 나타날 단어 예측하기 양방향 언어 모델링(Bidirectional Language Modeling) Deep contextualized word representations (NAACL 2018) Embeddings from Language Models (ELMo) Foward LM 에서 문맥의 순방향으로 학습 Backward LM 에서 문맥의 역방향으로 학습 이후 BERT가 등장 BERT: Bidirectional Encoder Representations form Transformers (NAACL 2019) BERT : Pre-training of Deep Bidirecti.. 이전 1 다음
