[Week2] DL Basic - MLP(Multi-Layer-Perceptron) [Day1]

*Introduction

 

1. Data

• 풀고자 하는 문제는 데이터에 의존함
• Classification, Semantic Segmentation, Detection, Pose Estimation 등

 

2. Model

• 이미지나 텍스트가 주어졌을때 내가 알고자하는 class label과 같은것들로 변형시켜줌
• AlexNet, GoogLeNet, ResNet, DenseNet, LSTM, Deep AutoEncoders, GAN 등

 

3. Loss

• 모델과 데이터가 존재할때 이 모델을 어떻게 학습할지에 대한 부분
• Loss는 최소화 하는게 일반적인 목적이지만 우리가 달성하고자 하는 근사치에 불과함
• 따라서 상황에 따라 데이터와 모델관계를 이해하고 Loss function를 정의하는것이 중요

4. Algorithm(Optimization)

• 모델과 데이터와 loss function이 정해져있을때 네트워크를 어떻게 줄일지에 대한 부분
• SGD, Momentum, NAG, Adagrad, Adadelta, RMSprop
• Optimization의 각 특성을 이해하는것이 중요
• Regularizer - 학습에 관여하여 Out of data에 대한 정확도를 높이기 위함
  • Dropout, Early stopping, k-fold validation, Weight decay, Batch normalization, MixUp, Ensemble, Bayesian Optimization

 

 

 

 

*Neural Networks

 

• Simple Example :
  

  

  • w라는 스칼라와 x의곱으로 b라는 바이어스를 1차 선형식 yhat을 정의하여 실제 모델에 근사하는 w,b를 찾는것이 목적 
  • MSE로 Loss를 정의하고 실제 y와 모델 yhat의 차이를 줄여나감
  • 데이터가 적고, 모델이 linear하고, loss가 convex인 경우 위와 같이 쉽게 찾을 수 있지만 그렇지 않다면? =>backpropagation : loss function을 줄이는 것이 목표이므로 각 파라미터 미분하여 줄어드는 방향으로 학습
    

    

• Beyond Linear Neural Networks
  

  

  • 선형결합 n번 행렬곱을 반복하는것은 1단짜리 Neural Network와 다를게 없음
  • 따라서 nonlinear transform을 활용함. => activation function : sigmoid, tanh, ReLU 등
    

    

    Activation function

 

• Multi-Layer Perceptron(MLP)
  

  

  
  
  • X,W -> affine transformation -> nonlinear transform(hidden vector) -> affine transformation
  • 1단 이상의 hidden layer

 

*Cross-Entropy

• case1 :
  

  

• case2 :
  

  

  
  
  
• case 3 :