모두를 위한 딥러닝 제6강 ML lec 03 - Linear Regression의 cost 최소화 알고리즘의 원리 설명

# Gradient descent 알고리즘

- 경사가 거의 없어질 때까지 경사면을 타고 내려가는 알고리즘

- 경사를 내려가는 알고리즘으로 Cost(W,b)에서 Cost의 값을 최소화시키는 W, b를 찾을때 사용됨

- Cost(w1, w2, ...) 일때도 사용가능

- 값을 최소화 시켜야하는 여러 문제들에 사용됨

# Convex function

- 어디서 경사면을 타고 내려가도 최소점을 찾을 수 있는 웅덩이가 하나뿐인 함수

- 사용자가 임의대로 만든 Cost함수라면 Convex 함수인지 확인하고 사용해야한다.

- 단 여기서 나오는 Cost함수는 Convex임이 증명된 것이므로 그냥 사용하면 됨.

# Non-Convex function

- 웅덩이가 여러개여서 임의의 지점에서 경사를 타고 내려왔을 때 최소가 되는 지점을 찾지 못하고 고립되어버릴 수 있는 함수

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기1

-Linear Regression에서의 Hypothesis & Cost

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기2

-위에서 bias를 제거해 간소화한 Linear Regression에서의 Hypothesis & Cost

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기3

- 위에서 미분을 편하게 하기 위해서 1/2를 곱해줌

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기4

- Cost function가 적어지는 곳으로 가도록 하는 W갱신 방법.

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기5

- 위의 W를 갱신하는 식에서 cost(W)를 W에 대해 미분하는 것

# Gradient descent를 이용해 Cost function의 최소지점을 찾아내기6

- 결과적으로 위의 사진에서 맨 아래의 식을 이용하면 W를 갱신할 수 있음

그림참고: https://youtu.be/TxIVr-nk1so