모두를 위한 딥러닝 제14강 ML lec 6-1 - Softmax Regression: 기본 개념 소개

# Multinomial classification을 위한 Softmax 함수

0) Logistic Regression에서는 다음과 같이 Z에 Sigmoid 함수를 취한 값을 예측값으로 그냥 사용했었다.

1) 그러나 Softmax Regression에서는 Sigmoid 함수 대신 Softmax 함수를 사용한다.

# Multinomial classification을 위한 Softmax Regression의 문제 접근 방법

1) A, B, C를 분류하는 문제가 주어진다.

2) A인지 아닌지, B인지 아닌지, C인지 아닌지 를 구분하는 Classifier를 각각 만들어준다.

3) 각각의 Classifier에 대한 Z의 식은 다음과 같고 이를 하나의 행렬로 합쳐준다.

4) 위 식에서 나온 Z의 값을 Softmax 함수에 동시에 통과시켜준다.
- 이 결과로 나온 값은 각각 확률을 나타낸다.

5) 이에대한 Cost function은 다음장에서 계속된다.

extra) One-Hot 인코딩

- 하나만 골라서 얘기해주고 싶다면 가장 큰수를 1로 나머지는 0으로 만들어줌

- 텐서플로우에서는 arg max라는 것을 사용하면 할 수 있음.

- Cost를 계산할 때는 이를 해주지 않은 원래의 값을 사용함.

그림참고 : https://youtu.be/MFAnsx1y9ZI