[Deep Learning] 배치 정규화(Batch Normalization) [작성중]

 배치 정규화(Batch Normalization)에 대해 알아보도록 하자.

 

 논문은 Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift (PMLR 2015)를 참고하면 되겠다.

 

배치 정규화(Batch Normalization)의 장점

1. 학습 속도(training speed) 향상

2. 가중치 초기화(weight initialization)에 대한 민감도 감소

3. 모델의 일반화(regularization)

 

* 입력 정규화(Normalization)

 데이터가 가진 feature의 스케일이 심하게 차이나는 경우 문제가 발생한다.

 우리가 학습을 통해 최소값을 얻고자 할 때, Gradient Descent Algorithm을 적용하게 되며 학습과정에서 위 그림과 같은 차이를 보이게 된다.

 

 

 

 

 

출처 : 

https://www.youtube.com/watch?v=58fuWVu5DVU&t=326s