모두를 위한 딥러닝 제15강 ML lec 6-2: Softmax classifier 의 cost함수

# Softmax 함수

# Softmax classifier의 Cost 함수(Cross-Entropy함수라고 부름)

- S(y)는 Z를 Softmax에 통과시킨 값, L은 label값

# Softmax classifier의 Cost 함수의 작동원리

- Cost function은 기본적으로 맞았을 때는 0에 가까운 값이 나와야 하고 틀렸을 때는 큰 값을 줘야한다. 이런 면에서 아래와 같이 아주 잘 작동한다.

- 여기서 Y짝대기는 Softmax를 통과한 수를 의미함

1) Label 값이 0 1 로 B를 가리키고,
   Softmax를 통과한 예측된 값이 0 1 로 B를 가리키는 경우 Cost 값은 0 / Softmax를 통과한 예측된 값이 1 0 로 A를 가리키는 경우 Cost 값은 무한대

2) Label 값이 1 0 로 A를 가리키고, 

   Softmax를 통과한 예측된 값이 1 0 로 A를 가리키는 경우 Cost 값은 0 / Softmax를 통과한 예측된 값이 0 1 로 B를 가리키는 경우 Cost 값은 무한대

# Softmax classifier의 Cost 함수인 Cross entropy VS Logistic cost

- 모양은 다르지만 둘을 같은 식임.

- 두 식이 같은 이유는?

# Softmax classifier의 전체 Cost 구하기

- 전체 D를 구한다음 N으로 나눠주면 됨

- 여기서 S는 Softmax에 Z를 통과시켜주는 것을 의미함.

- Softmax classifier에서의 Cost는 [Label 값]과 [Logistic Classifier를 Softmax에 통과시킨 값]을 이용한다.

그림참고 : https://youtu.be/jMU9G5WEtBc