ML lec 6-2: Softmax classifier 의 cost함수

Where is sigmoid?

sigmoid function을 통해 0부터 1사이에서 A에 해당하는 값, B에 해당하는 값, C에 해당하는 값이 각각 출력된다. 

 

 n개의 값을 Softmax function에 넣게되면 다음과 같은 형태의 값을 갖게된다.

 1. 0~1사이의 값을 갖게 된다.

 2. 전체의 sum이 1이 된다. 즉, 전체의 확률에 대해서 알 수 있다.

 

Cost function

 

Cross-entropy cost function

< -log(y_hat) >

 y값이 0일때는 무한대에 가깝고 값이 1일때는 0에 가까워 진다. 

 

 A와 B중에서 L=[0, 1]일 때, 즉 B가 정답일 때, Y_hat은 예측이 맞은 경우, 예측이 틀린 경우로 나뉠 수 있다.