Hyperparameter tuning (1) 썸네일형 리스트형 [Week3] PyTorch 활용하기 [Day4] *Multi-GPU 활용 오늘날의 딥러닝은 엄청난 데이터와의 싸움... *Model parallel 다중 GPU에서 학습을 분산하는 두 가지 방법(모델 나누기 / 데이터를 나누기) 모델을 나누는 것은 생각보다 예전부터 썻음 (alexnet) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 위 코드보다는 병렬적으로 파이프라인을 구축하는것이 좋다 *Data parallel 데이터를 나눠 GPU에 할당후 결과의 평균을 취하는 방법 minibatch 수식과 유사한데 한번에 여러 GPU에서 수행 PyTorch에서는 두가지 방식을 제공(DataParallel , DistributedDataParallel) DataParallel - 단순히 데이터를 분배한후 평균을 취함 -> GPU 사용 .. 이전 1 다음
