[Week8] 특강 [Day2]

*자연어 처리를 위한 언어 모델의 학습과 평가

 

1.언어 모델링 (Language Modeling)

• 주어진 문맥을 활용해 다음에 나타날 단어 예측하기
  

  

  
  

  

  

 

• 양방향 언어 모델링(Bidirectional Language Modeling)
  

  

  • Deep contextualized word representations (NAACL 2018)
  • Embeddings from Language Models (ELMo)
  • Foward LM 에서 문맥의 순방향으로 학습
  • Backward LM 에서 문맥의 역방향으로 학습
  • 이후 BERT가 등장

 

• BERT: Bidirectional Encoder Representations form Transformers (NAACL 2019)
  

  

  
  
  
• BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding
  

  

 

2.언어 모델의 평가

 

• 양방향 언어 모델링 (Bidirectional Language Modeling)
  • BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding
    

    

    Model Performance

  • pre-trained model을 활용하여 fine-tuning을 수행했더니 성능이 잘 나옴
  • 이후 다양한 dataset에서 실험이 진행됨
• GLUE 벤치마크 (General Language Understanding Evaluation) : 언어 모델 평가를 위한 영어 벤치마크
  • Quora Question Pairs (QQP, 문장 유사도 평가)
  • Question NLI (QNLI, 자연어 추론)
  • The Stanford Sentiment Treebank (SST, 감성분석)
  • The Corpus of Linguistic Acceptability (CoLA, 언어 수용성)
  • Semantic Textual Similarity Benchmark (STS-B, 문장 유사도 평가)
  • Microsoft Research Parapharse Corpus (MRPC, 문장 유사도 평가)
  • Recognizing Textual Entailment (RTE, 자연어 추론)
  • SQAUD 1.1 / 2.0 (질의응답)
  • MultiNLI Matched (자연어 추론)
  • MultiNLI Mismatched (자연어 추론)
  • Winograd NLI (자연어 추론)
• 성능이 BERT보다 뛰어난 자연어 이해 모델 등장의 계기가 됨
  

  

• 다국어 벤치마크의 등장 : 언어 모델 평가를 위한 다양한 언어의 벤치마크
  • FLUE (프랑스어)
  • CLUE (중국어)
  • IndoNLU benchmark (인도네시아)
  • IndicGLUE (인도어)
  • RussianSuperGLUE (러시아어)
• 한국어 자연어 이해 벤치마크 (KLUE : Korean Language Understanding Evaluation)
  • 개체명 인식(Named Entity Recognition)
  • 품사 태깅 및 의존 구문 분석 (POS tagging + Dependency Parsing)
  • 문장 분류 (Text classification)
  • 자연어 추론 (Natural Language Inference)
  • 문장 유사도 (Semantic Textual Similarity)
  • 관계 추출 (Relation Extraction)
  • 질의 응답 (Question & Answering)
  • 목적형 대화 (Taks-oriented Dialogue)