모두를 위한 딥러닝 제12강 ML lec 5-2 Logistic Regression의 cost 함수 설명

# Logistic Regression에서 Cost function으로 평균제곱오차를 더이상 이용할 수 없는 이유

- 선형회귀에서 사용하던 H(x)에 대한 Cost 함수는 convex여서 경사하강 알고리즘을 사용하면 global minimum을 찾을 수 있다는 것이 보장이 됐지만

- Logistic Regression에 들어와서 시그모이드 함수를 추가한 H(x)에 대한  Cost함수를 보니 e함수 모형의 특성때문에 non-convex여서 

- 경사하강 알고리즘을 사용하면 global minimum을 찾을 수 있다는 것이 보장이 되지 않는다. 

- 따라서 Logistic Regression에서는 평균제곱오차를 Cost함수로 더 이상 사용할 수가 없다.

 

# Logistic Regression에서 사용되는 새로운 Cost function

- ":y = 1" 의 표시는 y가 1일때 그 함수를 적용한다는 것을 의미

- ":y = 0" 의 표시는 y가 0일때 그 함수를 적용한다는 것을 의미

- 프로그래밍으로 구현시 두가지가 나누어져 있으면 불편하므로 y = 1 혹은 y = 0 일때 반대쪽 term이 0이되어 사라지게 만들어둔 둘을 합친 식을 사용하면 됨.

# 새로운 Cost function의 원리

- y = 1 혹은 y = 0이든 각자의 경우 경사면을 타고 내려가면 global minimum을 찾을 수 있기 때문에 사용한다고 함.

그림참고 : https://youtu.be/6vzchGYEJBc