Storage Gonie

* 역사에 대한 강의인데 나오는데 별로 중요한 내용은 아니었다. # 1969년도, Neural network의 첫번째 침체기- Marvin Minsky는 지금의 방법으로는 XOR문제를 풀 수 없다는 것을 수학적으로 증명함.- 단, 한개의 Layer로는 할 수 없고 여러개로 합친 MLP(Multi Layer Perceotron)을 이용하면 풀 수 있다고 말함.- 그러나 각각의 Layer에 있는 weight과 bias를 학습시킬 수 있는 방법이 없다고 함. # 1974 - 1982년도- Paul Werbos가 자기 박사 논문에서 Backpropagation 하는 방법을 썼음.- 그러나 이 당시 분위기가 여전히 냉랭하여 이걸 내도 아무도 관심을 주지 않았음.- 그리고 1970년대 후반에 Marvin Minsk..

# MNIST data 형태- 28x28개의 네모칸에 숫자가 지나간 부분에 대해서 어두운 정도가 값으로 들어가 있음.- X 는 28x28 = 784개의 features로 이루어 져있고 ex) [0, 0, ... , 0.932111, 0.212163, 0, 0]- Y 는 one-hot 벡터로 0~9 를 나타내는 벡터로 이루어져 있다. ex) [0, 0, 0, 0, 0, 1, 0, 0, 0, 0] # 몇가지 용어- epoch : 전체 Training set을 한번 돈 것을 1epoch이라고 한다.- batch_size : 전체 Training set 즉, 1epoch은 너무 양이 많으므로 이를 쪼개서 사용하는 크기가 batch_size이다.- iterations : 반복 횟수- Q. 1000개의 traini..

# Learning rate이 너무 커도 안되고 너무 작아도 안되는 이유- 너무 크면 발산을 해버리고- 너무 작으면 로컬 미니멈에서 빠져나오지 못하거나 너무 느리게 수렴하게 되는 현상이 발생한다. # Training set으로 훈련시킨 뒤 Test set으로 테스트 해보는 예시(분류문제)- 여기서는 분류문제를 다루므로 Training set에 대한 훈련이 다 끝난 뒤, Test set에 대한 예측 Accuracy를 따져본다. # Lab 7 Learning rate and Evaluation import tensorflow as tf tf.set_random_seed(777) # for reproducibility x_data = [[1, 2, 1], [1, 3, 2], [1, 3, 4], [1, 5, 5..

# Model의 성능 평가방법- Training / Testing set 두개로 나누는 경우도 있고, Training / Validation / Testing set 세개로 나누는 경우도 있다.- case1) 2개로 나누는 경우 : Training set으로 훈련시킨 뒤, Testing set으로 오차값(선형값예측) 또는 Accuracy(분류예측)를 확인한다. - case2) 3개로 나누는 경우 : Training set으로 훈련시킨 뒤, Validation set으로 learning rate, 람다를 여러번 튜닝한다. 그 후 최종적으로 Testing set으로 오차값(선형값예측) 또는 Accuracy(분류예측)를 확인한다.- Validation set을 이용하는 방법은 실전 평가 전에 모의고사 단계가 ..

# 적절한 learning rate 선정 방법- 주어진 데이터에 따라 적절한 값이 다르기 때문에 - 0.01로 줘보고 수렴이 너무 느리면 이 값보다 좀 더 키워보고 발산을 한다하면 이 값보다 좀 더 줄여봐라 # Gradient Descent를 위해 feature데이터에 대해 전처리를 해줘야 하는 경우와 방법- learning rate를 적절하게 준거 같은데 cost값이 발산하거나 이상동작을 보여주면 데이터중에 값의 차이가 크게 나는게 있는지 확인하고 있다면 데이터에 다음의 방법을 적용할 수 있다.- 1. 데이터의 중심이 0으로 오게 바꿔주는 zero-centered 혹은- 2. 전체 데이터의 값이 어느 범위안에 모두 들어가게 하는 normalize# Normalization방법 중에서 Standardiz..

# Softmax 구현방법 (라이브러리를 이용하는 방법)- tf.nn.softmax_cross_entropy_with_logits(logits= , labels= ) 를 이용하면 크로스 엔트로피를 구하는 공식을 사용할 수 있다.- 여기서 주의할 점은 Y는 label로 1개의1, 여러개의 0으로 이루어진 one_hot 벡터 이어야 한다.- 그러면 각각의 logit에 대한 오차값이 결과로 나오고 그것을 tf.reduce_mean해주면 전체에 대한 평균오차값이 나온다. # Y label을 one-hot 벡터로 변환하는 방법- tf.one_hot()을 사용한 뒤 tf.reshape을 이용함(* tf.one_hot()은 입력으로 rank가 N 인 것을 넣어주면 rank가 N+1인 것을 결과값으로 내주므로 이를 다..

# Softmax Classifier에서 Softmax함수를 텐서플로우에서 구현하는 코드- Logistic classifier의 XW + b 의 값을 먼저 "tf.matmul(X,W)+b" 로 표현하고- 위 식의 값을 Softmax 함수에 통과시킨 것을 "hypothesis = tf.nn.softmax(tf.matmul(X,W) + b)" 로 표현한다.- Softmax 함수에 통과시키는 값을 logit이라 한다. # Softmax Classifier에서 Cost와 Gradientdescent를 텐서플로우에서 구현하는 코드- Cost는 -L* log(hypothesis)를 다 더한뒤 개수로 나눠준것.- Gradientdescent능 Cost함수를 그냥 최소화 시켜주는 W와 b 매개변수들을 찾아가는 것임. ..

# Softmax 함수# Softmax classifier의 Cost 함수(Cross-Entropy함수라고 부름)- S(y)는 Z를 Softmax에 통과시킨 값, L은 label값 # Softmax classifier의 Cost 함수의 작동원리- Cost function은 기본적으로 맞았을 때는 0에 가까운 값이 나와야 하고 틀렸을 때는 큰 값을 줘야한다. 이런 면에서 아래와 같이 아주 잘 작동한다. - 여기서 Y짝대기는 Softmax를 통과한 수를 의미함 1) Label 값이 0 1 로 B를 가리키고, Softmax를 통과한 예측된 값이 0 1 로 B를 가리키는 경우 Cost 값은 0 / Softmax를 통과한 예측된 값이 1 0 로 A를 가리키는 경우 Cost 값은 무한대2) Label 값이 1 0 ..

# Multinomial classification을 위한 Softmax 함수0) Logistic Regression에서는 다음과 같이 Z에 Sigmoid 함수를 취한 값을 예측값으로 그냥 사용했었다.1) 그러나 Softmax Regression에서는 Sigmoid 함수 대신 Softmax 함수를 사용한다. # Multinomial classification을 위한 Softmax Regression의 문제 접근 방법1) A, B, C를 분류하는 문제가 주어진다. 2) A인지 아닌지, B인지 아닌지, C인지 아닌지 를 구분하는 Classifier를 각각 만들어준다. 3) 각각의 Classifier에 대한 Z의 식은 다음과 같고 이를 하나의 행렬로 합쳐준다. 4) 위 식에서 나온 Z의 값을 Softmax 함..

# bias를 제거한 Logistic Regression 공식 - 아래 2개의 예제들은 bias를 제거하지 않은 원래의 식으로 진행하였음. # Logistic Regression 모델 구현 - 입력 feature가 2개인 Binary Classifier 모델 구현import tensorflow as tf x_data = [[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]] y_data = [[0], [0], [0], [1], [1], [1]] # placeholders for a tensor that will be always fed. X = tf.placeholder(tf.float32, shape=[None, 2]) Y = tf.placeholder(tf.float3..