Google Cloud Engine 사용기-mnist 편

Google Cloud Engine을 이용해 처음으로 학습을 시작해본다.
Cloud 자체를 처음 해보는 초보라 재밌을 것 같다.

▣ 그냥 해보려고 했으나 이미 자세한 설명이 아래 있으므로 공부하는 차원에서 아래를 따라해본다. 아래를 수행하기 위해 Cloud Machine Learning Engine API 를 enable 해야 하는데 이제부터 과금이 들어간다.

https://github.com/GoogleCloudPlatform/cloudml-dist-mnist-example

▣ 터미널에서의 학습.

위 예제는 터미널에서의 학습에 대해 설명하고 있다.
다음과 같은 절차대로 학습을 하면 된다.

1. 아래 명령어에 따라 project를 clone한다.

2. training jobs에서 사용할 bucket 생성.
 → 아래 명령어에서 gcloud config list project --format "value(core.project)" 을 치면 내가 사용하고 있는 project ID를 알려준다.
아래 명령어는 현재 내가 설정하고 있는 project ID를 알려준다.
gcloud info |tr -d '[]' | awk '/project:/ {print $2}'

아래 명령어는 현재 내가 설정하고 있는 project ID를 알려준다.
 gsutil mkdir $BUCKET 명령어를 쳐서 bucket을 생성한다.


3. 이제 mnist data를 tfrecords format으로 변환하고 내가 생성한 BUCKET 의 data에
    저장하자.

 →  아래와 같이 잘 저장된 것을 확인할 수 있다.

4. Submit a training job to Cloud Machine Learning.
  → 아래와 같은 명령어를 치면 학습이 시작된다.
  → JOB_ID는 아무 값이나 되지만 아래와 같이 tutorial 대로 해보자.


5. 학습 결과.
  → 아래와 같이 학습된 결과물이 위에서 지정한 JOB_ID와 동일한 이름의 폴더에 생성된 것을 볼 수 있다.

6. Tensorboard
 → 아래와 같은 명령어를 치면 tensorboard를 사용할 수 있다.

tensorboard --port 8080 --logdir ${BUCKET}/${JOB_ID}



▣ Using online prediction from Datalab
 → 이 예제에서 다루는 datalab에서의 prediction 예제를 아래처럼 그대로 따라해보자.

  1. Launch Datalab from the Cloud Shell.
$ datalab create mydatalab --zone us-central1-a
...
Click on the *Web Preview* (up-arrow button at top-left), select *port 8081*, and start using Datalab.
  1. Select 'Preview on port 8081' from Web preview menu in the top-left corner to open a Datalab window.
  2. Open a new notebook and execute the following command.
%%bash
git clone https://github.com/GoogleCloudPlatform/cloudml-dist-mnist-example
  1. Go back to the notebook list window and open Online prediction example.ipynb in cloudml-dist-mnist-example/notebooks folder.
  2. Follow the instruction in the notebook.
→ 아래와 같이 online에서 마우스로 숫자를 쓰면 바로 확률 값을 알려주는 notebook 예제를 확인할 수 있다.





댓글

댓글 쓰기

이 블로그의 인기 게시물

google vision API 사용하기

이미지
 ▣ 간단 사용법. 아래 사이트를 참고해서 설치 후 예제를 실행해 봤다. http://statkclee.github.io/deep-learning/gc-vision.html 그러면 아래와 같이 detection 결과를 볼 수 있다. 모든 python 예제코드들은 구글에서 아래 github를 통해 제공한다. https://github.com/GoogleCloudPlatform/python-docs-samples  ▣ Google Cloud Vision API 사용법 먼저 아래의  Google Cloud Vision API 사용 예제를 익혀보자. https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/vision/api/label 위 예제를 해보기 위해서 아래와 같이 사이트에서 Google Cloud SDK 을 설치하고 간단하게 gcloud 사용법을 익힌다. https://cloud.google.com/sdk/docs/quickstart-linux 이제 아래 예제를 따라해보자. https://cloud.google.com/storage/docs/quickstart-gsutil  로컬 터미널에서 접속을 해 본다. 1. 내 터미널에서 bucket 생성해보기 $ gsutil mb gs://my-data-vision00 아래와 같은 응답이 나오면서 내 cloud에 my-data-vision00 이라는 bucket이 생성된 걸 확인할 수 있었다.    Creating gs://my-data-vision00/... 2. 내 bucket에 object 를 upload 해보자. 아래와 같이 내 bucket에 잘 저장된 걸 확인할 수 있다. 3. 다른 유용한 기능들. 다른 것도 매우 간단해서 더 이상 정리하지 않아도 된다.  ● Give someone access to your
자세한 내용 보기

Convolutional Sequence to Sequence Learning

이미지
초기에 https://arxiv.org/pdf/1408.5882.pdf 와 같이 CNN을 NLP에 적용한 방법들이 있었다. 이러한 방법들은 단순하게 CNN을 NLP에 적용해서 성능이 그다지 좋지 않았고 한 동안 CNN을 이용한 방법들은 주류에서 멀어지게 되었고 RNN을 반드시 사용해야 하는 것 같이 생각되었다. 구글의 NMT를 보면 Bidirectional RNNs과 attention mechanism, LSTM은 반드시 사용되어야 하는 것처럼 생각되었다. 내가 NLP 전공자는 아니지만 attention 이라는게 처음 나온 이유가 Encoder-decoder(seq-to-seq)에서 모든 encoder의 정보가 하나의 vector로 정리되고 이를 통해 decoder를 할 경우 input sentence가 길어질 수록 메모리의 제약이 온다는 점이다. 또한 학습도 어려워진다. 이를 해결하고자 attention model이 제안되었다. 나는 CNN만 주로 다루다 보니 NLP에 CNN을 적용하는거 자체가 성능에 제약이 있는 것이 아니라 잘 적용하면 성능은 올라갈 것이라고 생각이 들었다. 딥러닝을 각 도메인에 적용했을 때 어떻게 적용할 지 몰라 단순하게 mnist처럼 다루는 방식은 성능이 기존 보다 높지 않지만 각 도메인에 적절하게 네트워크를 구성하면 결국에는 성능이 올라가는 것이 요 몇 년 사이에 일어나는 일이다. 그래서 attention을 처음 읽었을 때 각 sequence의 정보를 저렇게 어차피 저장해서 attention을 이용해서 사용할 것이라면 CNN으로 충분히 대체 가능하다는 생각이 들었다. 오늘 살펴 본 논문처럼 기존보다 성능도 좋은 결과물이 나왔다는 것이 상당히 고무적이다. Pixel RNN이 결국 pixel CNN++ 로 발전하는 것처럼 이제 NLP도 CNN이 대세인 시대가 오는 것인가. 그런 경우 정말 네트워크만 잘 설계하면 NLP도 나 같은 영상처리만 딥러닝으로 한 사람도 할 수 있는 시대가 오는 것 아닌가라는 ...(도메인 간의 벽이
자세한 내용 보기

FPN

이미지
🌑 Introduction 아래 그림 (a)와 같이 기존의 객체검출은 hand-engineered features를 이용하여 image pyramids를 구성하고 각 pyramid에서 feature를 계산한 후 모든 위치에서 객체 유무를 판단하는 방법이였다. 이와 다르게 최근의 convNet 기반의 객체검출은 convNet 자체가 scale에 강인하기도 하지만 빠른 객체검출을 위해 1개의 scale만을 이용하였다. 하지만 convNet 의 scale 변화에 강인성에는 한계가 있고 최근의 ImageNet, COCO detection challenges 에서는 featurized image pyramid 기반으로 multi-scale testing을 이용하였다. 이러한 방법들은 수행시간이 오래 걸리며, 학습 시에도 많은 메모리가 필요하다는 단점이 있다. 이를 해결하기 위한 방법으로 그림 (c)와 같은 pyramidal feature hierarchy가 있다. 이 network는 서로 다른 scale을 갖는 feature map을 이용하여 검출에 사용한다. 대표적인 방법이 SSD 이다. SSD 는 계산한 feature map을 다시 사용하여 higher layer를 계속 생성한다. SSD는 이미 계산한 higher-resolution maps을 검출할 때 1회만 사용한다. 하지만 이러한 feature map은 작은 객체에 대한 정보를 많이 담고 있으므로 1회가 아닌 여러 번 사용하는 것이 작은 객체를 검출할 때 도움이 된다. 이 논문의 목표는 convNet’s feature hierarchy의 pyramidal shape을 활용하는데 어떻게 활용하느냐 바로 모든 scale 에서 강력한 semantics을 갖도록 하겠다는 것이다. 그럼 어떻게 그 목적을 달성하느냐? è Network 구조는 top-down과 lateral connection(측면에서 연결)에 있다. 그림 (d)와 같은 구조를 통해 semantic이 강한 low-resolution(widt
자세한 내용 보기