모두를 위한 딥러닝 제22-23강 lec 08-1, lec 08-2: 딥러닝의 역사

* 역사에 대한 강의인데 나오는데 별로 중요한 내용은 아니었다.

# 1969년도, Neural network의 첫번째 침체기

- Marvin Minsky는 지금의 방법으로는 XOR문제를 풀 수 없다는 것을 수학적으로 증명함.

- 단, 한개의 Layer로는 할 수 없고 여러개로 합친 MLP(Multi Layer Perceotron)을 이용하면 풀 수 있다고 말함.

- 그러나 각각의 Layer에 있는 weight과 bias를 학습시킬 수 있는 방법이 없다고 함.

# 1974 - 1982년도

- Paul Werbos가 자기 박사 논문에서 Backpropagation 하는 방법을 썼음.

- 그러나 이 당시 분위기가 여전히 냉랭하여 이걸 내도 아무도 관심을 주지 않았음.

- 그리고 1970년대 후반에 Marvin Minsky 교수를 만나서 이 문제를 풀었다고 말했는데도 관심을 주지 않음. 

- Paul Werbos가 1982년도에 이와 관련 논문을 한번 더 냈는데 아무도 관심을 안줌.

# 1986년도

- Hilton이 1974, 1982년도에 이미 Paul Werbos가 만들어 놓은 알고리즘을 재발견 하면서 다시 Neural Network가 주목받음.

- 이로인해 XOR 문제를 포함한 더 복잡한 문제를 풀수 있게 됨.

# 1995년도, Neural Network의 두번째 침체기

- Backpropagation이 몇 개 정도의 레이어에서는 동작을 잘 하는데, 복잡한 문제를 풀기 위해 십여개의 레이어를 사용하면 문제가 되는게 있었다.

- 출력부에서 만들어진 에러가 입력쪽으로 역전파 하면서 w와 b를 갱신해주는데 레이어의 수가 너무 많으면 입력쪽으로 갈수록 에러의 전파효과가 미미해지는 문제가 있었음.

- 이 외에도 SVM, RandomForest 등의 간단한 알고리즘이 Neural Network 보다 간단하면서 성능도 동등하거나 그 이상을 보여 침체기를 맞게 됨.

# 2006-2007년도, Neural Network의 침체 타파기

- 각각의 W값을 잘 초기화 해주면 굉장히 많은 수의 Layer에서도 효율적인 학습을 할 수 있다는 논문이 나옴

- In 2006, Hinton, Silmon Osindero, and Yee-Whye Teh published "A fast learning algorithm for deep belief nets"

- In 2007, Yoshua Bengio published "Greedy Layer-Wise Training of Deep Networks"

- Neural Network에 대한 과거 분위기 때문에 이 때 부터는 Deep Nets, Deep Learning 이라고 명칭을 바꿔부름 => '딥'의 출현

- 이때부터 다시 신경망에 관심을 가지면서 사람들이 연구를 하기 시작함.

# Hinton이 밝혀낸 신경망의 학습이 잘 안됐던 원인

- 데이터 셋이 너무 작았다.

- 우리의 컴퓨터는 너무 느렸다.

- 우리는 멍청한 방법으로 weight들을 초기화 했었다.

- 우리는 잘못된 타입의 비선형성을 이용했었다.

- 이에 대한 자세한 설명은 다음 강의에서 할 예정

# 비젼 분야에서 딥러닝의 비약적 발전

- image net이라고 하는 challenge에서 인식률이 비약적으로 좋아짐.

- 그림을 주고 컴퓨터에게 뭔지 맞춰봐 라는거

- 2010에는 70%의 정확도 -> 2015에는 97%의 정확도, 이제는 컴퓨터가 사람보다 더 잘할 수 있는 정도에 이름

# 성킴 교수님 연구실에서는 이런 연구도 진행중 임

- 연구실에서 하는 연구중에 하나가 'Deep API Leaning' 

- 자연어로 된 명령을 형태를 해석해 사용할 API를 자동으로 선택하고 사용할 API의 순서를 정해 최종적으로 결과값을 내어주는 것.

- 딥러닝의 기술을 사용하기 전에는 20%의 정확도를 보이던 것이 딥러닝 적용 후 65%까지 정확도가 올라왔다.

# 현재 이미 상용중이거나 비약적으로 발전한 딥러닝

- 'Speech recognition' : 노이즈가 많은 환경에서 90%까지 소리를 알아들을 수 있는 시스템

- 이미지 해석 : 이미지를 보고 이미지를 설명하는 텍스트를 생성해줌

- 핀볼게임 : 딥러닝을 이용하니 사람보다 더 잘하게 됨.

- 알파고 : 딥러닝을 사용해서 사람을 이기게 됨.

- 유튜브 : 소리를 자막으로 해주는거 사람이 입력한게 아니다.

- 페이스북 : 관심이 갈만한 피드 내용만 보여줌

- 구글 : 사람이 클릭할만한 글을 상위로 보여줌

- 이게 모두 학습을 통한 예측의 형태로 작동하는 것임

# 우리가 이 분야를 해야하는 이유

- Netflix, Amazon -> 추천시스템(인공지능, 머신러닝)을 통해 성장했던 회사

- 단순한 옷가게를 하더라도 손님들이 어떤 문건을 잘 사는지, 앞에 어떤 것을 진열해야 하는지를 예측을 해서 매출을 올릴 수 있게 된다.

- 툴이 많이 공개되었기 때문에 누구나 인공지능, 딥러닝을 사용할 수 있다.

- 학생과 연구자는 지금 시작해도 세계적인 전문가가 되기에도 늦지 않았다.

- 설명드렸던 것 처럼 수학적으로 복잡하지 않다.