Deep-Learning 용어정리 (하이퍼파라미터 튜닝)
·
용어정리/Deep-Learning
하이퍼파라미터 튜닝에 대해서 알아보자하이퍼파라미터하이퍼파라미터란 모델 학습을 진행하기전, 사용자가 모델에 설정해야 하는 값으로 모델의 학습에 영향을 주는값들을 의미한다. 종류로는 학습률, 배치 크기, 에포크 수, 모멘텀 그리고 가중치 초기화가 있다. 각각에 맞는 모델의 하이퍼파라미터를 찾아야 하며 이는 직접 해볼 수도, 자동으로 찾을 수 있다. 학습률학습률은 모델이 최적점을 찾아가는 속도 즉 가중치를 업데이트 하여 학습을 반복하는 속도를 결정하는 값이다.학습률의 값이 너무 크게되면 최적점을 지나 학습이 불안정해지고, 너무 작게 되면 학습이 매우 느려진다. 옵티마이저 정의 에서 보통 적용시킨다.배치 크기배치 크기는 한번의 처리에 얼마나 많은 양의 데이터를 처리할지 결정한다.이때의 값은 32의 배수로 설정한..