Google Cloud Engine 사용기 - Hello World 편

▣ 설치

구글 클라우드는 Datalab이라는 매우 편리한 도구를 제공한다.

자세한 소개는 아래 사이트를 참고하자.
 → https://cloud.google.com/datalab/

설치는 아래를 따라하자.
→ https://cloud.google.com/ml-engine/docs/quickstarts/datalab

▣ Hello, Google Cloud!

아래와 같이 작동을 확인해 본다.



내가 만든 instance를 확인해 보고 싶으면
shell에 datalab list 명령어를 치면 된다.
다시 연결하고 싶으면  datalab connect --port 8081 instance-name
내가 만든 key값을 기억하고 있어야 한다. 위 명령어를 실행하면 password를 묻는다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

google vision API 사용하기

이미지
 ▣ 간단 사용법. 아래 사이트를 참고해서 설치 후 예제를 실행해 봤다. http://statkclee.github.io/deep-learning/gc-vision.html 그러면 아래와 같이 detection 결과를 볼 수 있다. 모든 python 예제코드들은 구글에서 아래 github를 통해 제공한다. https://github.com/GoogleCloudPlatform/python-docs-samples  ▣ Google Cloud Vision API 사용법 먼저 아래의  Google Cloud Vision API 사용 예제를 익혀보자. https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/vision/api/label 위 예제를 해보기 위해서 아래와 같이 사이트에서 Google Cloud SDK 을 설치하고 간단하게 gcloud 사용법을 익힌다. https://cloud.google.com/sdk/docs/quickstart-linux 이제 아래 예제를 따라해보자. https://cloud.google.com/storage/docs/quickstart-gsutil  로컬 터미널에서 접속을 해 본다. 1. 내 터미널에서 bucket 생성해보기 $ gsutil mb gs://my-data-vision00 아래와 같은 응답이 나오면서 내 cloud에 my-data-vision00 이라는 bucket이 생성된 걸 확인할 수 있었다.    Creating gs://my-data-vision00/... 2. 내 bucket에 object 를 upload 해보자. 아래와 같이 내 bucket에 잘 저장된 걸 확인할 수 있다. 3. 다른 유용한 기능들. 다른 것도 매우 간단해서 더 이상 정리하지 않아도 된다.  ● Give someone access to your
자세한 내용 보기

Convolutional Sequence to Sequence Learning

이미지
초기에 https://arxiv.org/pdf/1408.5882.pdf 와 같이 CNN을 NLP에 적용한 방법들이 있었다. 이러한 방법들은 단순하게 CNN을 NLP에 적용해서 성능이 그다지 좋지 않았고 한 동안 CNN을 이용한 방법들은 주류에서 멀어지게 되었고 RNN을 반드시 사용해야 하는 것 같이 생각되었다. 구글의 NMT를 보면 Bidirectional RNNs과 attention mechanism, LSTM은 반드시 사용되어야 하는 것처럼 생각되었다. 내가 NLP 전공자는 아니지만 attention 이라는게 처음 나온 이유가 Encoder-decoder(seq-to-seq)에서 모든 encoder의 정보가 하나의 vector로 정리되고 이를 통해 decoder를 할 경우 input sentence가 길어질 수록 메모리의 제약이 온다는 점이다. 또한 학습도 어려워진다. 이를 해결하고자 attention model이 제안되었다. 나는 CNN만 주로 다루다 보니 NLP에 CNN을 적용하는거 자체가 성능에 제약이 있는 것이 아니라 잘 적용하면 성능은 올라갈 것이라고 생각이 들었다. 딥러닝을 각 도메인에 적용했을 때 어떻게 적용할 지 몰라 단순하게 mnist처럼 다루는 방식은 성능이 기존 보다 높지 않지만 각 도메인에 적절하게 네트워크를 구성하면 결국에는 성능이 올라가는 것이 요 몇 년 사이에 일어나는 일이다. 그래서 attention을 처음 읽었을 때 각 sequence의 정보를 저렇게 어차피 저장해서 attention을 이용해서 사용할 것이라면 CNN으로 충분히 대체 가능하다는 생각이 들었다. 오늘 살펴 본 논문처럼 기존보다 성능도 좋은 결과물이 나왔다는 것이 상당히 고무적이다. Pixel RNN이 결국 pixel CNN++ 로 발전하는 것처럼 이제 NLP도 CNN이 대세인 시대가 오는 것인가. 그런 경우 정말 네트워크만 잘 설계하면 NLP도 나 같은 영상처리만 딥러닝으로 한 사람도 할 수 있는 시대가 오는 것 아닌가라는 ...(도메인 간의 벽이
자세한 내용 보기

FPN

이미지
🌑 Introduction 아래 그림 (a)와 같이 기존의 객체검출은 hand-engineered features를 이용하여 image pyramids를 구성하고 각 pyramid에서 feature를 계산한 후 모든 위치에서 객체 유무를 판단하는 방법이였다. 이와 다르게 최근의 convNet 기반의 객체검출은 convNet 자체가 scale에 강인하기도 하지만 빠른 객체검출을 위해 1개의 scale만을 이용하였다. 하지만 convNet 의 scale 변화에 강인성에는 한계가 있고 최근의 ImageNet, COCO detection challenges 에서는 featurized image pyramid 기반으로 multi-scale testing을 이용하였다. 이러한 방법들은 수행시간이 오래 걸리며, 학습 시에도 많은 메모리가 필요하다는 단점이 있다. 이를 해결하기 위한 방법으로 그림 (c)와 같은 pyramidal feature hierarchy가 있다. 이 network는 서로 다른 scale을 갖는 feature map을 이용하여 검출에 사용한다. 대표적인 방법이 SSD 이다. SSD 는 계산한 feature map을 다시 사용하여 higher layer를 계속 생성한다. SSD는 이미 계산한 higher-resolution maps을 검출할 때 1회만 사용한다. 하지만 이러한 feature map은 작은 객체에 대한 정보를 많이 담고 있으므로 1회가 아닌 여러 번 사용하는 것이 작은 객체를 검출할 때 도움이 된다. 이 논문의 목표는 convNet’s feature hierarchy의 pyramidal shape을 활용하는데 어떻게 활용하느냐 바로 모든 scale 에서 강력한 semantics을 갖도록 하겠다는 것이다. 그럼 어떻게 그 목적을 달성하느냐? è Network 구조는 top-down과 lateral connection(측면에서 연결)에 있다. 그림 (d)와 같은 구조를 통해 semantic이 강한 low-resolution(widt
자세한 내용 보기