Google Cloud Engine 사용기-faster_rcnn_resnet101


▣ 가장 잘 설명된 아래 구글 공식 사이트를 참조해서 사용해보자.
https://cloud.google.com/blog/big-data/2017/06/training-an-object-detector-using-cloud-machine-learning-engine


자 내가 하고 싶은 것은 아래와 같이 detection&classification이다.


▣ 전처리 작업.
training을 하기 위한 전처리 작업들은 위 사이트에 자세히 소개되어 있기 때문에 따라하면 된다.




▣ 학습

아래와 같은 명령어를 치면 학습이 시작된다.
gcloud ml-engine jobs submit training `whoami`_object_detection_`date +%s` \
    --job-dir=${YOUR_GCS_BUCKET}/train \
    --packages dist/object_detection-0.1.tar.gz,slim/dist/slim-0.1.tar.gz \
    --module-name object_detection.train \
    --region us-central1 \
    --config object_detection/samples/cloud/cloud.yml \
    -- \
    --train_dir=${YOUR_GCS_BUCKET}/train \
    --pipeline_config_path=${YOUR_GCS_BUCKET}/data/faster_rcnn_resnet101_pets.config
  • 여기서 `whoami`_object_detection_`date +%s` 는 내 ID가 포함된 JOB 이름이다.
  • config는 GPU작업을 할 때 사용되는 YAML 파일이다. 아래와 같이 몇 개의 GPU를 쓸지 어떤 GPU를  쓸지를 결정 할 수 있다.
  • train_dir은 training checkpoints 와 events 등이 저장될 장소이다.
trainingInput:
runtimeVersion: "1.0"
scaleTier: CUSTOM
masterType: standard_gpu
workerCount: 5
workerType: standard_gpu
parameterServerCount: 3
parameterServerType: standard





  • Tensorboard에서도 확인 가능하다.
  • pipeline_config_path 에는 내가 학습에 사용할 설정값들이 저장된다.
    • num_classes: 37
    • min_dimension: 600
    • max_dimension: 1024
    • fine_tune_checkpoint: "gs://tensorflow-face-pose-ml/data/model.ckpt"
    • input_path: "gs://tensorflow-face-pose-ml/data/pet_train.record"
    • label_map_path: "gs://tensorflow-face-pose-ml/data/pet_label_map.pbtxt"

▣ 학습 결과
11시간 정도 학습을 시키고 중지시켰다.
연습용으로 학습시키기에는 faster-rcnn은 너무 리소스가 많이 소비된다.
GPU 4 개를 11시간 사용하면 돈이 너무 많이든다.
앞으로는 돈이 적게 드는 예제를 따라해봐야겠다.



아래는 내 bucket에 저장된 학습 결과이다.



▣ Exporting the Tensorflow graph

내가 학습한 결과물들을 실제로 사용할 수 있도록 변환하는 작업이 필요한데 이를
TensorFlow의 file formats은 구글이 만든 Protocol Buffers인데 이는 IOT등 다양한 사물간의 통신을 위해 만들어졌다. caffe에도 적용되어 있으며 text 기반으로 layer를 정의하고 생성할 수 있다.
내가 학습한 bucket에 저장된 결과물들 checkpoint이라고 하는데 이는 아래 3가지로 구성되어 있다.
  • model.ckpt-${CHECKPOINT_NUMBER}.data-00000-of-00001,
  • model.ckpt-${CHECKPOINT_NUMBER}.index
  • model.ckpt-${CHECKPOINT_NUMBER}.meta
내 bucket에 위 파일들을 확인했으니 아래 명령어를 통해 export graph 해보자.
CHECKPOINT_NUMBER가 잘 안되면 직접 숫자를 써서 copy 할 수 있다.
export YOUR_GCS_BUCKET="gs://tensorflow-face-pose-ml"


export CHECKPOINT_NUMBER=${130434}


# From tensorflow/models
gsutil cp ${YOUR_GCS_BUCKET}/train/model.ckpt-${CHECKPOINT_NUMBER}.* .

python object_detection/export_inference_graph.py \
    --input_type image_tensor \
    --pipeline_config_path object_detection/samples/configs/faster_rcnn_resnet101_pets.config \
    --checkpoint_path model.ckpt-130434 \
    --inference_graph_path output_inference_graph.pb
생성된 파일의 크기가 193MB로 절반 이상 줄어들었다.

내가 생성한 파일일 잘 동작하는지 아래 notebook을 통해 확인해보자.
https://github.com/tensorflow/models/blob/master/object_detection/object_detection_tutorial.ipynb

PATH_TO_CKPT 에 생성된 바이너리 포맷의 graph 위치를 의미한다.


detection_graph = tf.Graph()
with detection_graph.as_default():
od_graph_def = tf.GraphDef()
with tf.gfile.GFile(PATH_TO_CKPT, 'rb') as fid:
serialized_graph = fid.read()
od_graph_def.ParseFromString(serialized_graph)
tf.import_graph_def(od_graph_def, name='')



비교를 위해 mobilenet을 추가로 학습했다.(model.ckpt-47136: resnet101 대비 1/3 정도만 학습 함...)

▶ 아래는 내가 mobilenet을 학습한 결과이다.




▶ 아래는 resnet101 이다.
    mobilenet에서 검출하지 못 했던 이미지를 잡긴 하는데
    아직 학습 중간에 중지시킨 결과라 아래와 같이 두 개가 같이 잡힌다.
    코드에 NMS 처리가 안 된 건지 확인해봐야겠다.
    두 개 confidence가 유사해서 filtering 되지 않은 것 같다.



1시간도 안되어 내가 원하는 object detection에 대한 설정을 맞추고 
cloud에서 학습이 된다.

data만 만들면 정말 간단하게 구성할 수 있다.



댓글

댓글 쓰기

이 블로그의 인기 게시물

google vision API 사용하기

이미지
 ▣ 간단 사용법. 아래 사이트를 참고해서 설치 후 예제를 실행해 봤다. http://statkclee.github.io/deep-learning/gc-vision.html 그러면 아래와 같이 detection 결과를 볼 수 있다. 모든 python 예제코드들은 구글에서 아래 github를 통해 제공한다. https://github.com/GoogleCloudPlatform/python-docs-samples  ▣ Google Cloud Vision API 사용법 먼저 아래의  Google Cloud Vision API 사용 예제를 익혀보자. https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/vision/api/label 위 예제를 해보기 위해서 아래와 같이 사이트에서 Google Cloud SDK 을 설치하고 간단하게 gcloud 사용법을 익힌다. https://cloud.google.com/sdk/docs/quickstart-linux 이제 아래 예제를 따라해보자. https://cloud.google.com/storage/docs/quickstart-gsutil  로컬 터미널에서 접속을 해 본다. 1. 내 터미널에서 bucket 생성해보기 $ gsutil mb gs://my-data-vision00 아래와 같은 응답이 나오면서 내 cloud에 my-data-vision00 이라는 bucket이 생성된 걸 확인할 수 있었다.    Creating gs://my-data-vision00/... 2. 내 bucket에 object 를 upload 해보자. 아래와 같이 내 bucket에 잘 저장된 걸 확인할 수 있다. 3. 다른 유용한 기능들. 다른 것도 매우 간단해서 더 이상 정리하지 않아도 된다.  ● Give someone access to your
자세한 내용 보기

Convolutional Sequence to Sequence Learning

이미지
초기에 https://arxiv.org/pdf/1408.5882.pdf 와 같이 CNN을 NLP에 적용한 방법들이 있었다. 이러한 방법들은 단순하게 CNN을 NLP에 적용해서 성능이 그다지 좋지 않았고 한 동안 CNN을 이용한 방법들은 주류에서 멀어지게 되었고 RNN을 반드시 사용해야 하는 것 같이 생각되었다. 구글의 NMT를 보면 Bidirectional RNNs과 attention mechanism, LSTM은 반드시 사용되어야 하는 것처럼 생각되었다. 내가 NLP 전공자는 아니지만 attention 이라는게 처음 나온 이유가 Encoder-decoder(seq-to-seq)에서 모든 encoder의 정보가 하나의 vector로 정리되고 이를 통해 decoder를 할 경우 input sentence가 길어질 수록 메모리의 제약이 온다는 점이다. 또한 학습도 어려워진다. 이를 해결하고자 attention model이 제안되었다. 나는 CNN만 주로 다루다 보니 NLP에 CNN을 적용하는거 자체가 성능에 제약이 있는 것이 아니라 잘 적용하면 성능은 올라갈 것이라고 생각이 들었다. 딥러닝을 각 도메인에 적용했을 때 어떻게 적용할 지 몰라 단순하게 mnist처럼 다루는 방식은 성능이 기존 보다 높지 않지만 각 도메인에 적절하게 네트워크를 구성하면 결국에는 성능이 올라가는 것이 요 몇 년 사이에 일어나는 일이다. 그래서 attention을 처음 읽었을 때 각 sequence의 정보를 저렇게 어차피 저장해서 attention을 이용해서 사용할 것이라면 CNN으로 충분히 대체 가능하다는 생각이 들었다. 오늘 살펴 본 논문처럼 기존보다 성능도 좋은 결과물이 나왔다는 것이 상당히 고무적이다. Pixel RNN이 결국 pixel CNN++ 로 발전하는 것처럼 이제 NLP도 CNN이 대세인 시대가 오는 것인가. 그런 경우 정말 네트워크만 잘 설계하면 NLP도 나 같은 영상처리만 딥러닝으로 한 사람도 할 수 있는 시대가 오는 것 아닌가라는 ...(도메인 간의 벽이
자세한 내용 보기

FPN

이미지
🌑 Introduction 아래 그림 (a)와 같이 기존의 객체검출은 hand-engineered features를 이용하여 image pyramids를 구성하고 각 pyramid에서 feature를 계산한 후 모든 위치에서 객체 유무를 판단하는 방법이였다. 이와 다르게 최근의 convNet 기반의 객체검출은 convNet 자체가 scale에 강인하기도 하지만 빠른 객체검출을 위해 1개의 scale만을 이용하였다. 하지만 convNet 의 scale 변화에 강인성에는 한계가 있고 최근의 ImageNet, COCO detection challenges 에서는 featurized image pyramid 기반으로 multi-scale testing을 이용하였다. 이러한 방법들은 수행시간이 오래 걸리며, 학습 시에도 많은 메모리가 필요하다는 단점이 있다. 이를 해결하기 위한 방법으로 그림 (c)와 같은 pyramidal feature hierarchy가 있다. 이 network는 서로 다른 scale을 갖는 feature map을 이용하여 검출에 사용한다. 대표적인 방법이 SSD 이다. SSD 는 계산한 feature map을 다시 사용하여 higher layer를 계속 생성한다. SSD는 이미 계산한 higher-resolution maps을 검출할 때 1회만 사용한다. 하지만 이러한 feature map은 작은 객체에 대한 정보를 많이 담고 있으므로 1회가 아닌 여러 번 사용하는 것이 작은 객체를 검출할 때 도움이 된다. 이 논문의 목표는 convNet’s feature hierarchy의 pyramidal shape을 활용하는데 어떻게 활용하느냐 바로 모든 scale 에서 강력한 semantics을 갖도록 하겠다는 것이다. 그럼 어떻게 그 목적을 달성하느냐? è Network 구조는 top-down과 lateral connection(측면에서 연결)에 있다. 그림 (d)와 같은 구조를 통해 semantic이 강한 low-resolution(widt
자세한 내용 보기