Self-attention (1) 썸네일형 리스트형 [Week2] DL Basic - Transformer [Day4] *Sequential Model 문장을 예로 들면 문장의 길이는 가변적이고 중간이 생략될 수 있음 이러한 문제들 때문에 sequential한 입력에 대해 모델링하는것이 어렵다 transformer를 통해 해결할 수 있음 *Transformer Transformer is the first sequence transduction model based entirely on attention encoder , decoder 구조 Encoder의 Self-Attention n개의 단어를 한번에 인코딩할 수 있음 각 단어를 z에 모두 인코딩함 3가지 종류의 벡터를 만든다 (Quries, Keys, Values) : 한 단어마다 3개의 벡터를 만들고 임베딩함 thinking 단어에 대한 score 벡터를 계산할때 내.. 이전 1 다음
