관리 메뉴

Storage Gonie

1주차 - Quiz 1까지 본문

데이터 사이언스/ML with TF on GCP(Coursera)

1주차 - Quiz 1까지

Storage Gonie 2018. 10. 2. 21:28
반응형

# 전체 커리큘럼 소개 (Intro to ML on GCP Specialization) 


# 구글은 어디에 머신러닝을 적용하고 있는가? (Specialization Agenda)

- 구글은 자신들의 거의 모든 상품에 머신러닝을 적용한다.

- Google photo(이미지 자동 분류), Google ads(사용자 맞춤 광고), Youtube(다음 동영상 추천), Self-driving cars(보행자 감지), Gmail(스팸메일 분류)


# 구글에서 각 분기별 생성한 ML 모델 수 (Why Google?) 

- 2017년 초 4000개 이상의 Tensorflow 모델을 구글의 제품에 적용한 상태.

- 우리는 앞으로 구글이 적용한 기술을 배울 예정. 



# 구글 클라우드를 사용할 때의 장점 (Why Google Cloud?)

- 예측 모델을 만들어야 하는데 다이어그램 왼쪽의 복잡한 처리과정 때문에 최종 목표에 도달하는데 실패하는 경우가 많았음.

- 구글은 실패가능성을 줄일 해결방법을 알아냈고, 배치 및 스트리밍 데이터를 동일한 방식으로 처리할 수 있게 하였음.

- 이것이 바로 'Cloud Data Flow'이고 구글 클라우드를 이용하면 구글의 과거 실패경험으로부터의 이점을 취할 수 있음.

'Cloud Dataflow'(다이어그램의 중앙에 위치한 것) : Apache Beam(open source)으로 만들어졌고, batch와 stream을 같은 방법으로 다룰 수 있도록 도와줌.


# ML을 잘하기 위해서 Data Engineering을 잘할 필요가 있다.  (Why Google Cloud?)

- ML은 제일 마지막 단계에 적용이 되는 부분이므로 ML을 잘하기 위해서는 Data engineering 부분을 알 필요가 있다.

- 만약 내가 Coursera에 있는 구글의 'data engineering specialization'을 수강한 적이 없다면 이것을 들어볼 것을 강력하게 추천한다.

- 단, 내가 저 강의를 듣지 않았을 지라도 중요한 내용들은 이 트랙에서 따로 배우게 될 것이다.


Data Engineer의 직무

(출처 : 2018 하반기 아모레퍼시픽 채용공고)


Machine Learning Engineer의 직무

(출처 : 2018 하반기 아모레퍼시픽 채용공고)


# Google Clould로부터 최신 ML, AI 정보 얻기  (Latest from Google)

- 링크 : https://cloud.google.com/blog/products/ai-machine-learning


<자사에서 구현한 제품 예시>

Graffiti Artist Classifier

- 링크 : https://cloud.google.com/blog/products/ai-machine-learning/who-street-artist-building-graffiti-artist-classifier-using-automl

- 설명 : Google의 Auto ML을 이용하여 누구의 예술작품인지 알 수 있도록 하는 예측 모델.


Pose-Estimator with Move Mirror

- 링크 : https://www.blog.google/technology/ai/move-mirror-you-move-and-80000-images-move-you

- 설명 : 컴퓨터 비젼 기술이 이렇게 재미있는 방식으로 작동한다는 것을 보여주고 싶었으며, 웹캠 앞에서 움직이면 자신의 포즈와 가장 유사한 포즈를 찾아줌

- 원리 : 상대적인 17개의 몸의 부분적 위치를 따짐.


# 기타 링크 (Latest from Google)

- Kadenze(https://www.kadenze.com) : 예술분야와 IT기술을 결합한 강의를 제공함(한가지 예로 'Machine Learning for musicians and artists')



- Tensorflow playground(http://playground.tensorflow.org) : 분류 혹은 회귀에 대한 간단한 예시를 볼 수 있는 사이트


- Auto ML(https://cloud.google.com/automl) : API 형태로 아래의 서비스를 이용할 수 있게 해줌. 단, 유료서비스.


1) AutoML Vision : 이미지에서 사물의 label 추출, 텍스트 인식, 관련이미지 링크, 부적절컨텐츠 감지, 이정보 모두를 Json으로 추출해 주는 기능.




2) AutoML Natural Language : 텍스트에 대해서 개체, 감정, 문법, 카테고리을 추출해주는 기능.




3) AutoML Translation : 텍스트를 번역, 시작언어 자동인식을 이용할 수 있게 함.



# 퀴즈(Module 1 Quiz)

1. ML모델이 Training에서는 잘 작동하지만 제품생산에서는 실패하는 일반적인 원인이 무엇인가?

- dataset이 부적절하게 생성되었기 때문.

- 이 때문에 dataset을 생성하는 단계로 자주 되돌아오곤 한다.


2. Personalized Algorithm들은 어떤 타입의 모델을 주로 사용하여 만들어지는가?

- Recommendation system을 사용하여 만들어진다.

- 그러나 이를 이해하기 위해서 Image processing 과 sequence system을 이해할 수 있어야 한다.


3. ML모델 생성에 대한 실패 가능성을 줄이기 위한 방법이 무엇인가?(구글이 시행착오를 통해 알아낸 교훈)

- batch data(training data) 와 streaming data 를 같은 방식으로 처리되고 있는지 확인하는 것.

- 이러면 둘이 호환될 가능성이 높아져 모델을 성공적으로 만들게 될 가능성이 높아짐.

반응형

'데이터 사이언스 > ML with TF on GCP(Coursera)' 카테고리의 다른 글

1주차 - Quiz 3까지  (0) 2018.10.12
1주차 - Quiz 2까지  (0) 2018.10.05
Comments