Perceptual Generative Adversarial Networks for Small Object Detection

▣ 간략 소개

아래에서 "features for small instance"는 작은 객체에서 CNN layer의 윗 단에서 나온 feature이고  "features for large instance" 아래 그림과 같이 큰 객체에서 나온 feature이다. 작은 객체에서 나온 feature는 구분이 어려울 정도로 low resolution이다. 이것을 아래의 큰 객체에서 나온 feature처럼 만들어 주면 어떨까? 이게 이 논문의 중요 아이디어다.

▣  Perceptual GANs의 개요

이제 논문의 아이디어는 알았으니 자세히 network를 분석해보자.

  • step1> 먼저, discriminator의 perception branch가 큰 객체만 포함하는 학습 이미지를 가지고 학습된다.
  • step2> 그 다음 generator network는 작은 객체만 포함된 학습 이미지를 가지고 super-resolved large-object를 생성하도록 학습된다.
  • step3> discriminator network의 adversarial branch가 step2 에서 생성한  super-resolved large-object 와 큰 객체의 feature를 구분하도록 학습된다.
위와같은 GAN 학습이 반복되면서 작은 객체에 대한 정확도가 향상된다.


▣  Perceptual GANs에 대한 상세 분석

 아래는 일반적인 GAN의 수식이다. 이런 default 개념을 vanilla라는 표현을 써서 vanilla GAN이라고 한다.


보통 x는 real sample, z는 noise distribution에서 생성된 generator의 input vector이다. DC-GAN의 경우 100-d 이다.제안하는 Perceptual GANs에서는 x가 큰 객체이고, z는 작은객체가 된다아래 수식으로 표현된다. 

자세한 network에 대한 그림은 아래와 같다. 먼저 , generator를 보자.


B Residual Blocks의 마지막 feature map dimension이 Conv5의 feature map과 동일하게 만들어서 eltwise sum이 가능하도록 한다.input image의 작은 객체는 RoI Pooling되어 B Residual Blocks의 output map과 eltwise sum을 하면 Super-Resolved Features가 만들어 진다. 이제 discriminator를 보자.discriminator network의 adversarial branch는 input이 large objects 에 속하는지 0~1 사이의 값을 sigmoid를 통해 계산한다.perception branch는 두 개의 task를 하는데 우리가 흔히 아는 object deteciton의 task와 동일하다. 즉 classification 와 bounding box regression을 수행한다.


▣ 성능

 기존 SOTA는 Zhe Zhu "Traffic-Sign Detection and Classification in the Wild"였다. 이것보다 성능이 개선되었다.



댓글

댓글 쓰기

이 블로그의 인기 게시물

google vision API 사용하기

이미지
 ▣ 간단 사용법. 아래 사이트를 참고해서 설치 후 예제를 실행해 봤다. http://statkclee.github.io/deep-learning/gc-vision.html 그러면 아래와 같이 detection 결과를 볼 수 있다. 모든 python 예제코드들은 구글에서 아래 github를 통해 제공한다. https://github.com/GoogleCloudPlatform/python-docs-samples  ▣ Google Cloud Vision API 사용법 먼저 아래의  Google Cloud Vision API 사용 예제를 익혀보자. https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/vision/api/label 위 예제를 해보기 위해서 아래와 같이 사이트에서 Google Cloud SDK 을 설치하고 간단하게 gcloud 사용법을 익힌다. https://cloud.google.com/sdk/docs/quickstart-linux 이제 아래 예제를 따라해보자. https://cloud.google.com/storage/docs/quickstart-gsutil  로컬 터미널에서 접속을 해 본다. 1. 내 터미널에서 bucket 생성해보기 $ gsutil mb gs://my-data-vision00 아래와 같은 응답이 나오면서 내 cloud에 my-data-vision00 이라는 bucket이 생성된 걸 확인할 수 있었다.    Creating gs://my-data-vision00/... 2. 내 bucket에 object 를 upload 해보자. 아래와 같이 내 bucket에 잘 저장된 걸 확인할 수 있다. 3. 다른 유용한 기능들. 다른 것도 매우 간단해서 더 이상 정리하지 않아도 된다.  ● Give someone access to your
자세한 내용 보기

Convolutional Sequence to Sequence Learning

이미지
초기에 https://arxiv.org/pdf/1408.5882.pdf 와 같이 CNN을 NLP에 적용한 방법들이 있었다. 이러한 방법들은 단순하게 CNN을 NLP에 적용해서 성능이 그다지 좋지 않았고 한 동안 CNN을 이용한 방법들은 주류에서 멀어지게 되었고 RNN을 반드시 사용해야 하는 것 같이 생각되었다. 구글의 NMT를 보면 Bidirectional RNNs과 attention mechanism, LSTM은 반드시 사용되어야 하는 것처럼 생각되었다. 내가 NLP 전공자는 아니지만 attention 이라는게 처음 나온 이유가 Encoder-decoder(seq-to-seq)에서 모든 encoder의 정보가 하나의 vector로 정리되고 이를 통해 decoder를 할 경우 input sentence가 길어질 수록 메모리의 제약이 온다는 점이다. 또한 학습도 어려워진다. 이를 해결하고자 attention model이 제안되었다. 나는 CNN만 주로 다루다 보니 NLP에 CNN을 적용하는거 자체가 성능에 제약이 있는 것이 아니라 잘 적용하면 성능은 올라갈 것이라고 생각이 들었다. 딥러닝을 각 도메인에 적용했을 때 어떻게 적용할 지 몰라 단순하게 mnist처럼 다루는 방식은 성능이 기존 보다 높지 않지만 각 도메인에 적절하게 네트워크를 구성하면 결국에는 성능이 올라가는 것이 요 몇 년 사이에 일어나는 일이다. 그래서 attention을 처음 읽었을 때 각 sequence의 정보를 저렇게 어차피 저장해서 attention을 이용해서 사용할 것이라면 CNN으로 충분히 대체 가능하다는 생각이 들었다. 오늘 살펴 본 논문처럼 기존보다 성능도 좋은 결과물이 나왔다는 것이 상당히 고무적이다. Pixel RNN이 결국 pixel CNN++ 로 발전하는 것처럼 이제 NLP도 CNN이 대세인 시대가 오는 것인가. 그런 경우 정말 네트워크만 잘 설계하면 NLP도 나 같은 영상처리만 딥러닝으로 한 사람도 할 수 있는 시대가 오는 것 아닌가라는 ...(도메인 간의 벽이
자세한 내용 보기

FPN

이미지
🌑 Introduction 아래 그림 (a)와 같이 기존의 객체검출은 hand-engineered features를 이용하여 image pyramids를 구성하고 각 pyramid에서 feature를 계산한 후 모든 위치에서 객체 유무를 판단하는 방법이였다. 이와 다르게 최근의 convNet 기반의 객체검출은 convNet 자체가 scale에 강인하기도 하지만 빠른 객체검출을 위해 1개의 scale만을 이용하였다. 하지만 convNet 의 scale 변화에 강인성에는 한계가 있고 최근의 ImageNet, COCO detection challenges 에서는 featurized image pyramid 기반으로 multi-scale testing을 이용하였다. 이러한 방법들은 수행시간이 오래 걸리며, 학습 시에도 많은 메모리가 필요하다는 단점이 있다. 이를 해결하기 위한 방법으로 그림 (c)와 같은 pyramidal feature hierarchy가 있다. 이 network는 서로 다른 scale을 갖는 feature map을 이용하여 검출에 사용한다. 대표적인 방법이 SSD 이다. SSD 는 계산한 feature map을 다시 사용하여 higher layer를 계속 생성한다. SSD는 이미 계산한 higher-resolution maps을 검출할 때 1회만 사용한다. 하지만 이러한 feature map은 작은 객체에 대한 정보를 많이 담고 있으므로 1회가 아닌 여러 번 사용하는 것이 작은 객체를 검출할 때 도움이 된다. 이 논문의 목표는 convNet’s feature hierarchy의 pyramidal shape을 활용하는데 어떻게 활용하느냐 바로 모든 scale 에서 강력한 semantics을 갖도록 하겠다는 것이다. 그럼 어떻게 그 목적을 달성하느냐? è Network 구조는 top-down과 lateral connection(측면에서 연결)에 있다. 그림 (d)와 같은 구조를 통해 semantic이 강한 low-resolution(widt
자세한 내용 보기