Deep Learning special Lecture Note

Convoulutinal neural network -> 영상 인식에 좋다.

Prob. Distribution 학습에 용이 -> appox. Of joint prob.

Deep learning: high-level abstraction. Use high-level feature

옛날에는 raw-level에서만 인식을 한다.(SIFT) 그러나 deep learning은 high-level feature를 가지고 인식을 수행한다.

요즘은 layer를 10개 30개정도 사용. Layer 개수가 많아 지면 high level feature을 잘 인식 가능하다.

Problem of deep learning

-problem of back-propagation ( 동작 x, extremely slow, worse than shallow network)

이유: diminishing gradient problem, overfitting, local minima, internal covariate shift.

Gradient descent algorithm

Restricted Boltzmann Machine

Convolutional neural network

Layers of standard CNN

-      Convolution layer: feature extraction(홀수번째)

-      Max-pooling layer feature abstraction(짝수번째)

-      Fully-connected layer: classification

Convolution layer

Convolution is mainly used for 영상처리

Convolution operator를 무엇을 쓰느냐에 따라 결과가 달라진다.

Residual learning

RNN (Recurrent Neural network)

LSTM – 음성 인식, error rate 17.7%까지 떨어진다.

-      Text processing에도 많이 쓰인다.

Word embedding: embedded vector space.

Ex) paris – france + berline  -> output is vector near Germany

AlphaGo: reinforcement learning by self-play, MCTS(Monte Cario tree search – 그럴싸한 subset만 골라서 만 사용 -   subset을 구하기 위해 policy network를 사용)

Reduced network

-      Model compression

-      Knowledge distillation

-      Fitnet

Training 할 때 computing 많지만, test할때는 적다. *-> 이아이는???

Convolutional은 train과 test 둘다 크다. (GPU 계산….이 해결책)

모바일에서는 RNN을 가볍게 만들면 가능할 수도

모바일에서 CNN은 불가능

모바일 GPU 성능 ..ㅜㅜ모바일 GPU를 키우면 베터리가 빨리 단다.

그나마 자동차에는 적용 가능.