Perceptual Generative Adversarial Networks for Small Object Detection

▣ 간략 소개

아래에서 "features for small instance"는 작은 객체에서 CNN layer의 윗 단에서 나온 feature이고  "features for large instance" 아래 그림과 같이 큰 객체에서 나온 feature이다. 작은 객체에서 나온 feature는 구분이 어려울 정도로 low resolution이다. 이것을 아래의 큰 객체에서 나온 feature처럼 만들어 주면 어떨까? 이게 이 논문의 중요 아이디어다.

▣  Perceptual GANs의 개요

이제 논문의 아이디어는 알았으니 자세히 network를 분석해보자.

  • step1> 먼저, discriminator의 perception branch가 큰 객체만 포함하는 학습 이미지를 가지고 학습된다.
  • step2> 그 다음 generator network는 작은 객체만 포함된 학습 이미지를 가지고 super-resolved large-object를 생성하도록 학습된다.
  • step3> discriminator network의 adversarial branch가 step2 에서 생성한  super-resolved large-object 와 큰 객체의 feature를 구분하도록 학습된다.
위와같은 GAN 학습이 반복되면서 작은 객체에 대한 정확도가 향상된다.


▣  Perceptual GANs에 대한 상세 분석

 아래는 일반적인 GAN의 수식이다. 이런 default 개념을 vanilla라는 표현을 써서 vanilla GAN이라고 한다.


보통 x는 real sample, z는 noise distribution에서 생성된 generator의 input vector이다. DC-GAN의 경우 100-d 이다.제안하는 Perceptual GANs에서는 x가 큰 객체이고, z는 작은객체가 된다아래 수식으로 표현된다. 

자세한 network에 대한 그림은 아래와 같다. 먼저 , generator를 보자.


B Residual Blocks의 마지막 feature map dimension이 Conv5의 feature map과 동일하게 만들어서 eltwise sum이 가능하도록 한다.input image의 작은 객체는 RoI Pooling되어 B Residual Blocks의 output map과 eltwise sum을 하면 Super-Resolved Features가 만들어 진다. 이제 discriminator를 보자.discriminator network의 adversarial branch는 input이 large objects 에 속하는지 0~1 사이의 값을 sigmoid를 통해 계산한다.perception branch는 두 개의 task를 하는데 우리가 흔히 아는 object deteciton의 task와 동일하다. 즉 classification 와 bounding box regression을 수행한다.


▣ 성능

 기존 SOTA는 Zhe Zhu "Traffic-Sign Detection and Classification in the Wild"였다. 이것보다 성능이 개선되었다.



댓글

댓글 쓰기

이 블로그의 인기 게시물

FPN

이미지
🌑 Introduction 아래 그림 (a)와 같이 기존의 객체검출은 hand-engineered features를 이용하여 image pyramids를 구성하고 각 pyramid에서 feature를 계산한 후 모든 위치에서 객체 유무를 판단하는 방법이였다. 이와 다르게 최근의 convNet 기반의 객체검출은 convNet 자체가 scale에 강인하기도 하지만 빠른 객체검출을 위해 1개의 scale만을 이용하였다. 하지만 convNet 의 scale 변화에 강인성에는 한계가 있고 최근의 ImageNet, COCO detection challenges 에서는 featurized image pyramid 기반으로 multi-scale testing을 이용하였다. 이러한 방법들은 수행시간이 오래 걸리며, 학습 시에도 많은 메모리가 필요하다는 단점이 있다. 이를 해결하기 위한 방법으로 그림 (c)와 같은 pyramidal feature hierarchy가 있다. 이 network는 서로 다른 scale을 갖는 feature map을 이용하여 검출에 사용한다. 대표적인 방법이 SSD 이다. SSD 는 계산한 feature map을 다시 사용하여 higher layer를 계속 생성한다. SSD는 이미 계산한 higher-resolution maps을 검출할 때 1회만 사용한다. 하지만 이러한 feature map은 작은 객체에 대한 정보를 많이 담고 있으므로 1회가 아닌 여러 번 사용하는 것이 작은 객체를 검출할 때 도움이 된다. 이 논문의 목표는 convNet’s feature hierarchy의 pyramidal shape을 활용하는데 어떻게 활용하느냐 바로 모든 scale 에서 강력한 semantics을 갖도록 하겠다는 것이다. 그럼 어떻게 그 목적을 달성하느냐? è Network 구조는 top-down과 lateral connection(측면에서 연결)에 있다. 그림 (d)와 같은 구조를 통해 semantic이 강한 low-resolution(widt...
자세한 내용 보기

google vision API 사용하기

이미지
 ▣ 간단 사용법. 아래 사이트를 참고해서 설치 후 예제를 실행해 봤다. http://statkclee.github.io/deep-learning/gc-vision.html 그러면 아래와 같이 detection 결과를 볼 수 있다. 모든 python 예제코드들은 구글에서 아래 github를 통해 제공한다. https://github.com/GoogleCloudPlatform/python-docs-samples  ▣ Google Cloud Vision API 사용법 먼저 아래의  Google Cloud Vision API 사용 예제를 익혀보자. https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/vision/api/label 위 예제를 해보기 위해서 아래와 같이 사이트에서 Google Cloud SDK 을 설치하고 간단하게 gcloud 사용법을 익힌다. https://cloud.google.com/sdk/docs/quickstart-linux 이제 아래 예제를 따라해보자. https://cloud.google.com/storage/docs/quickstart-gsutil  로컬 터미널에서 접속을 해 본다. 1. 내 터미널에서 bucket 생성해보기 $ gsutil mb gs://my-data-vision00 아래와 같은 응답이 나오면서 내 cloud에 my-data-vision00 이라는 bucket이 생성된 걸 확인할 수 있었다.    Creating gs://my-data-vision00/... 2. 내 bucket에 object 를 upload 해보자. 아래와 같이 내 bucket에 잘 저장된 걸 확인할 수 있다. 3. 다른 유용한 기능들. 다른 것도 매우 간단해서 더 이상 정리하지 않아도 된다...
자세한 내용 보기

Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge

이미지
Image captioning 즉 image를 text로 변환하는 작업은 매우 흥미로운 일이다. 이것은 이미지 인식과 자연어처리의 조합이다. Image captioning은 이미지에 대해 정확하게 기술하는 captions을 생성한다. 지금까지 최신의 Image Captioning 기법은 구글에서 제안한 방법이다. 아래 사이트에 자세한 정보가 나와 있다. https://research.googleblog.com/2016/09/show-and-tell-image-captioning-open.html 사실 이것은 2014년 11월에 발표한 유명한 논문인 "Show and Tell: A Neural Image Caption Generator" 을 개선 시킨 것이다. 이 논문은 아래와 같이 수식으로 표현할 수 있다. 사진 I 와 잘 학습된 파라미터 W가 주어지면 설명문 S 즉 caption을 생성하는 것이다. 이것을 그림으로 표현하면 아래와 같다. 즉 image가 입력되면 googlenet 등과 같이 image의 특징을 잘 추출하는 model을 적용하여 특징 벡터를 뽑고 이를 LSTM의 최초 입력으로 집어 넣는다. 그러면 다음 step에서는 S0와 이전 step에서 생성한 C(-1), h(-1)이 LSTM의 입력이 되어 가장 확률이 높은 단어 S1이 선택되고 이는 다음 step(1)의 입력 단어가 된다. 이런 과정은 문장의 끝을 나타내는 token이 나타날 때까지 계속된다. 그렇다면 BeanSearch는 무엇일까? BeamSearch는 아래 그림과 같이 확률이 높은 k 개의 단어를 기억하고 있는 것이다. 그리고 다음 step에서 이 k개의 단어를 입력으로 넣는다. 실제 논문에서는 k 개를 beam of size라고 하며 20개를 사용했다. k = 1인 경우는 2 BLEU만큼의 성능 저하가 있었다. 자 기본적인 Show and Tell은 끝났고 2016년 9월에 발표된 구글의 논문은 위에서 ...
자세한 내용 보기