Deep Learning6 [Deep Learning] 배치 정규화(Batch Normalization) [작성중] 배치 정규화(Batch Normalization)에 대해 알아보도록 하자. 논문은 Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift (PMLR 2015)를 참고하면 되겠다. 배치 정규화(Batch Normalization)의 장점 1. 학습 속도(training speed) 향상 2. 가중치 초기화(weight initialization)에 대한 민감도 감소 3. 모델의 일반화(regularization) * 입력 정규화(Normalization) 데이터가 가진 feature의 스케일이 심하게 차이나는 경우 문제가 발생한다. 우리가 학습을 통해 최소값을 얻고자 할 때, Gradient D.. 2021. 7. 29. [Deep Learning] 활성 함수(activation function) 정리 딥러닝에서 여러가지 활성함수를 사용하게 되는데 그에 따라 활성함수를 정리하고자 한다. Linear 선형 활성함수이다. 특징으로 두 가지 문제점을 갖는다. 첫 번째로는 보이는것과 같이 선형의 구조를 가지기 때문에 미분 값은 항상 같은 상수 값이다. 그래서 활성함수의 미분하는 과정을 통해 손실을 줄이는 역전파(backpropagation)를 할 수 없다. 두 번째로는 Hidden Layer를 무시한다. 다시 말해 Layer를 Deep하게 쌓아도 결국 Weigt * X + Bias 로 치환된다. example) ((ax +b)*c+ d)*e + f ... = W * X + B Sigmoid Sigmoid는 output을 0과 1사이로 만들어 준다. 데이터는 평균 0.5를 갖게 된다. 식은 다음과 같다. 장점으.. 2021. 7. 28. 이전 1 2 다음
