부스트캠프 AI Tech/[Week2] Deep Learning basic (6) 썸네일형 리스트형 [Week2] DL Basic - Generative Models [Day5] *Learning a Generative Model Suppose we are given images of dogs We want to learn a probability distribution p(x) such that Generation : 개와 같은 비슷한 이미지를 생성할 수 있음 Density estimation(anomaly detection) : p(x)의 x가 강아지 같은지 아닌지 분류 Unsupervised representation learning : feature learning Then, how can we represent p(x)? *Basic Discrete Distributions Bernoulli distribution : (biased) coin flip D = {Heads.. [Week2] DL Basic - Transformer [Day4] *Sequential Model 문장을 예로 들면 문장의 길이는 가변적이고 중간이 생략될 수 있음 이러한 문제들 때문에 sequential한 입력에 대해 모델링하는것이 어렵다 transformer를 통해 해결할 수 있음 *Transformer Transformer is the first sequence transduction model based entirely on attention encoder , decoder 구조 Encoder의 Self-Attention n개의 단어를 한번에 인코딩할 수 있음 각 단어를 z에 모두 인코딩함 3가지 종류의 벡터를 만든다 (Quries, Keys, Values) : 한 단어마다 3개의 벡터를 만들고 임베딩함 thinking 단어에 대한 score 벡터를 계산할때 내.. [Week2] DL Basic - RNN [Day4] *Sequential Model 일상에서 대부분 데이터는 sequential data sequential data는 레이블이 딱 정해지지 않고, 길이가 언제나 달라질 수 있음(과거 정보량이 늘어남) Naive sequence model Autoregressive model 고정된 길이의 과거만 고려 Markov model (first-order autoregressive model) 바로 전 과거에만 의존함 반례) 수능날의 시험점수는 전날 공부한것에서만 나온다? -> X Latent autoregressive model hidden state가 과거의 정보를 요약하고 있음 *Recurrent Neural Network Long-term dependencies 과거의 정보를 활용하고 싶은데 시간이 오래지나.. [Week2] DL Basic - CNN [Day3] *Convolution Contiunuous convolution Discrete convolution 2D image convolution 2D convolution in action RGB Image Convolution *Convolutional Neural Networks Convolution and pooling layers : feature extraction Fully connected layer : decision making (e.g., classification) 최소화 시키는 추세 (parameter dependency : 파라미터가 많으면 학습이 잘 안되고, Generalization performance 감소) *Stride *Padding *Convolution Arithmeti.. [Week2] DL Basic - Optimization [Day2] *Optimization *Important Concepts in Optimization Generalization Under-fitting vs. over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting *Generalization 일반적으로 training error가 줄어들지만, 어느 순간을 지나면 test error는 증가함 Generalization performance : Test error - Training error *Underfitting vs. Overfitting underfitting : 네트워크가 간단하거나 train횟수가 적어 학습 데이터를 잘 맞추지 못함 overfitting .. [Week2] DL Basic - MLP(Multi-Layer-Perceptron) [Day1] *Introduction 1. Data 풀고자 하는 문제는 데이터에 의존함 Classification, Semantic Segmentation, Detection, Pose Estimation 등 2. Model 이미지나 텍스트가 주어졌을때 내가 알고자하는 class label과 같은것들로 변형시켜줌 AlexNet, GoogLeNet, ResNet, DenseNet, LSTM, Deep AutoEncoders, GAN 등 3. Loss 모델과 데이터가 존재할때 이 모델을 어떻게 학습할지에 대한 부분 Loss는 최소화 하는게 일반적인 목적이지만 우리가 달성하고자 하는 근사치에 불과함 따라서 상황에 따라 데이터와 모델관계를 이해하고 Loss function를 정의하는것이 중요 4. Algorithm(Opti.. 이전 1 다음
