모두를 위한 딥러닝 제18강 lec 07-1: 학습 rate, Overfitting, 그리고 일반화 (Regularization)

# 적절한 learning rate 선정 방법

- 주어진 데이터에 따라 적절한 값이 다르기 때문에 

- 0.01로 줘보고 수렴이 너무 느리면 이 값보다 좀 더 키워보고 발산을 한다하면 이 값보다 좀 더 줄여봐라

# Gradient Descent를 위해 feature데이터에 대해 전처리를 해줘야 하는 경우와 방법

- learning rate를 적절하게 준거 같은데 cost값이 발산하거나 이상동작을 보여주면 데이터중에 값의 차이가 크게 나는게 있는지 확인하고 있다면 데이터에 다음의 방법을 적용할 수 있다.

- 1.  데이터의 중심이 0으로 오게 바꿔주는 zero-centered 혹은

- 2. 전체 데이터의 값이 어느 범위안에 모두 들어가게 하는 normalize

# Normalization방법 중에서 Standardization이라 불리는 방식

- M은 평균

- O는 분산

- 맨 아래의 코드는 파이썬에서 적용하는 방법

# Overfitting이라면 이를 해결해줄 솔루션들

- 1. training set data를 더 확보해본다.

- 2. feature의 수를 줄여본다.

- 3. Regularization : 너무 큰 값의 weight를 가지지 않도록 하는 것

# Regularization

- 각각의 Weight를 제곱한 것을 합한 것을 cost함수에 포함시켜서 각각의 weight를 조금씩 줄여주는 것(L2 Regularization)

- 람다는 'regularization strength'라고 부르기도 하며 상수 값이다. 이것이 0이면 Regularization을 적용하지 않겠다는 것을 의미이고 크면 클수록 영향이 커짐.