Storage Gonie

# ㅁㄴㅇㅁㄴㅇ- ㅁㄴㅇㅇㅁㄴㅇ

# 어떻게 weight와 bias를 학습시킬 수 있는가?- 1969년도에 Minsky 교수가 weight와 bias를 훈련시키는 방법을 찾을 수 있는 이가 아무도 없다고 하였음.- 이 이유는 입력 및 각 노드의 출력이 최종 결과값에 미치는 영향을 계산해낼 수 없었기 때문이다.- 그런데 1974, 1982년도에 Paul Werbos, 1986년도에 Hinton에 의해서 Backpropagation 방법으로 훈련시킬 수 있음이 알려짐.- 간단한 예를 통해 입력 및 각 노드의 출력이 최종 결과값에 미치는 영향을 계산해 낼 수 있음을 확인하자. # 입력 및 각 노드의 출력이 최종 결과값에 미치는 영향을 계산하는 예시- Q. x, w, b의 입력이 있고 *, + 노드가 있으며 최종 출력 f = wx + b일 때 ..

# Basic derivative(기본 미분)- 델타엑스를 0에 가까운 아주 작은 값으로 줄때, x는 이만큼 변하는데 f는 얼마나 변하는가. 즉, 순간 변화율을 의미하고 이것이 '기울기'이다.ex) 여기서 x를 0에 가까운 아주 작은 수로 수렴시키지만, x = 0.01이라고 가정하고 미분을 해보자.# Partial derivative(부분미분) - 다른변수를 상수로 생각하고 미분하는 것.- 거꾸로 뒤집어진 e를 partial이라고 부름.- (ㅁ+ㅁ)'는 ㅁ' + ㅁ'을 통해 구할 수 있다. # Chain rule- 복잡한 형태의 미분을 구할때 는 아래와 같이 각각을 미분한 것을 서로 곱해줌으로써 구할 수 있다.

# XOR 문제를 Neural network로 어떻게 풀 수 있는지 확인- 단, weight와 bias를 학습시키는 방법은 다다음장에서 배움 1) 하나의 유닛 or 모델로는 XOR 문제를 풀 수 없다는 것을 Minsky교수가 수학적으로 증명하였고, XOR문제는 풀 수 없는 것이라 믿는 계기가 되었음. 2) Minsky교수는 유닛을 2개, 3개 붙이면 XOR 문제를 풀 수 있다고 하였는데, weight, bias를 학습시킬 방법을 아는 사람이 아무도 없다고 하였음.https://cs231n.github.io/convolutional-networks 3) 지금은 weight, bias를 학습시키는 대신, 값을 잘 초기화 시켜서 한번 XOR 문제를 풀어보자- 네모난 박스에서는 xw+b의 연산이 일어나고 이 결..

* 키워드 : slicing, shape, rank, axis, matmul, broadcasting, reduce_mean, reduce_sum, argmax, reshape, squeeze, expand_dims, one_hot, cast, stack, ones_like, zeros_like, zip #-*- coding: euc-kr -*-# https://www.tensorflow.org/api_guides/python/array_ops import tensorflow as tf import numpy as np import pprint tf.set_random_seed(777) # for reproducibility pp = pprint.PrettyPrinter(indent=4) sess = t..

* 역사에 대한 강의인데 나오는데 별로 중요한 내용은 아니었다. # 1969년도, Neural network의 첫번째 침체기- Marvin Minsky는 지금의 방법으로는 XOR문제를 풀 수 없다는 것을 수학적으로 증명함.- 단, 한개의 Layer로는 할 수 없고 여러개로 합친 MLP(Multi Layer Perceotron)을 이용하면 풀 수 있다고 말함.- 그러나 각각의 Layer에 있는 weight과 bias를 학습시킬 수 있는 방법이 없다고 함. # 1974 - 1982년도- Paul Werbos가 자기 박사 논문에서 Backpropagation 하는 방법을 썼음.- 그러나 이 당시 분위기가 여전히 냉랭하여 이걸 내도 아무도 관심을 주지 않았음.- 그리고 1970년대 후반에 Marvin Minsk..

# MNIST data 형태- 28x28개의 네모칸에 숫자가 지나간 부분에 대해서 어두운 정도가 값으로 들어가 있음.- X 는 28x28 = 784개의 features로 이루어 져있고 ex) [0, 0, ... , 0.932111, 0.212163, 0, 0]- Y 는 one-hot 벡터로 0~9 를 나타내는 벡터로 이루어져 있다. ex) [0, 0, 0, 0, 0, 1, 0, 0, 0, 0] # 몇가지 용어- epoch : 전체 Training set을 한번 돈 것을 1epoch이라고 한다.- batch_size : 전체 Training set 즉, 1epoch은 너무 양이 많으므로 이를 쪼개서 사용하는 크기가 batch_size이다.- iterations : 반복 횟수- Q. 1000개의 traini..

# Learning rate이 너무 커도 안되고 너무 작아도 안되는 이유- 너무 크면 발산을 해버리고- 너무 작으면 로컬 미니멈에서 빠져나오지 못하거나 너무 느리게 수렴하게 되는 현상이 발생한다. # Training set으로 훈련시킨 뒤 Test set으로 테스트 해보는 예시(분류문제)- 여기서는 분류문제를 다루므로 Training set에 대한 훈련이 다 끝난 뒤, Test set에 대한 예측 Accuracy를 따져본다. # Lab 7 Learning rate and Evaluation import tensorflow as tf tf.set_random_seed(777) # for reproducibility x_data = [[1, 2, 1], [1, 3, 2], [1, 3, 4], [1, 5, 5..

# Model의 성능 평가방법- Training / Testing set 두개로 나누는 경우도 있고, Training / Validation / Testing set 세개로 나누는 경우도 있다.- case1) 2개로 나누는 경우 : Training set으로 훈련시킨 뒤, Testing set으로 오차값(선형값예측) 또는 Accuracy(분류예측)를 확인한다. - case2) 3개로 나누는 경우 : Training set으로 훈련시킨 뒤, Validation set으로 learning rate, 람다를 여러번 튜닝한다. 그 후 최종적으로 Testing set으로 오차값(선형값예측) 또는 Accuracy(분류예측)를 확인한다.- Validation set을 이용하는 방법은 실전 평가 전에 모의고사 단계가 ..

# 적절한 learning rate 선정 방법- 주어진 데이터에 따라 적절한 값이 다르기 때문에 - 0.01로 줘보고 수렴이 너무 느리면 이 값보다 좀 더 키워보고 발산을 한다하면 이 값보다 좀 더 줄여봐라 # Gradient Descent를 위해 feature데이터에 대해 전처리를 해줘야 하는 경우와 방법- learning rate를 적절하게 준거 같은데 cost값이 발산하거나 이상동작을 보여주면 데이터중에 값의 차이가 크게 나는게 있는지 확인하고 있다면 데이터에 다음의 방법을 적용할 수 있다.- 1. 데이터의 중심이 0으로 오게 바꿔주는 zero-centered 혹은- 2. 전체 데이터의 값이 어느 범위안에 모두 들어가게 하는 normalize# Normalization방법 중에서 Standardiz..