[Week4] Image classification - Ensemble

*Ensemble

 

• 여러 실험을 통해 여러 모델로 여러 결과를 만들게 된다
• 이 모델을 효율적으로 어떻게 성능을 더 끌어올릴 수 있을지?

 

*Ensemble of Deep NN

*Ensemble

• 싱글 모델보다 더 나은 성능을 위해 서로 다른 여러 학습 모델을 사용하는 것
• Model Averaging (Voting)
  • Hard voting vs Soft voting 
  • Hard voting은 모델마다 하나의 예측 결과를 나타내지만 Soft voting은 모든 클래스의 확률을 보여주기 때문에 결과가 달라질 수 있음
    

    

    
    
    
• Cross Validation
  
  • 훈련 셋과 검증 셋을 분리는 하되, 검증 셋을 학습에 활용하는 방법
    

    

  • Stratified K-Fold Cross Validation
  • 적당한 K를 정해서 각각의 모델이 bias를 낮출 필요는 있음
  • 각 모델의 class 분포도 고려해야함
    

    

    
    
    
• TTA(Test Time Augmentation)
  • Test set에 noise를 섞었을 때 동일한 결과를 얻을 수 있을까?
    

    

  • Test image를 Augmentation 후 모델 추론, 출력된 여러가지 결과를 앙상블

 

 

*성능과 효율의 Trade-off

• 앙상블 효과는 확실히 있지만 그 만큼 학습, 추론 시간이 배로 소모됨
  

  

 

*Hyperparameter Optimization

• 시스템의 매커니즘에 영향을 주는 주요한 파라미터
  • Learning rate
  • Batch size
  • Hidden Layer 갯수
  • Loss parameter
  • k-fold
  • Dropout
  • Optimizaer paremeter
  • Regularization
• 시간과 장비가 충분하다면 training을 여러번 해볼 수 있지만 한계가 있음
• Optuna
  • 파라미터 범위를 주고 그 범위 안에서 trials 만큼 시행