[패스트캠퍼스 수강 후기] 컴퓨터비전인강 100% 환급 챌린지 18 회차

모르겠다

걍 딥러닝 부터 바로 가자!!

▪ 딥러닝(Deep Learning)이란?
• 2000대부터 사용되고 있는 심층 신경망(deep neural network)의 또 다른 이름

 

▪ 머신 러닝(ML) vs. 딥러닝(DL)

www.mathworks.com/discovery/deep-learning.html

What Is Deep Learning? | How It Works, Techniques & Applications

 

딥러닝 활용

 

 

 

 

신경망 기초: 퍼셉트론 ▪ 퍼셉트론(Perceptron) • 다수의 입력으로부터 가중합을 계산하고, 이를 이용하여 하나의 출력을 만들어내는 구조(1950년대)

 

▪ 퍼셉트론(Perceptron)
• 다수의 입력으로부터 가중합을 계산하고, 이를 이용하여 하나의 출력을 만들어내는 구조(1950년대)

신경망 기초: 퍼셉트론
▪ 퍼셉트론에 의한 OR 연산 구현

 

▪ 활성화 함수(activation function)
• 생물학적 뉴런(neuron)에서 입력 신호가 일정 크기 이상일 때만 신호를 전달하는 메커니즘을 모방
• 비선형 함수를 사용

▪ 퍼셉트론에 의한 XOR 연산을 구현하려면?
• XOR는 단순한 입력-출력 구조의 퍼셉트론으로 구현 불가 (Not linear!)

 

다층퍼셉트론 ( MLP )

▪ (단층) 퍼셉트론 vs. 다층 퍼셉트론 vs. 심층 신경망
• 다층 퍼셉트론(MLP, Multi-Layer Perceptron): 은닉층이 한 개 이상
• 심층 신경망(DNN, Deep Neural Network): 은닉층이 두 개 이상

 

▪ 신경망 학습이란?
• 좋은 가중치(weight)를 결정하는 방법

▪ 신경망 학습 방법
• 학습의 기준이 되는 비용(cost) 또는 손실(loss) 함수를 정의한 후, 비용을 최소화하는 방향으로 학습을 진행

▪ (e.g.) 𝑐𝑜𝑠𝑡 = σ𝑖 (𝑦𝑖 − 𝑡𝑖) 2
• 경사 하강법(gradient descent) 또는 오류역전파(error backpropagation) 알고리즘 사용

▪ 경사 하강법: 그래디언트 반대 방향으로 이동하면서 최솟값 위치를 찾는 방법
▪ 오류 역전파: 미분의 체인룰(chain-rule)을 이용하여 전체 가중치를 업데이트하는 방법

 

심층 신경망의 문제점과 해결 방안

▪ 학습이 제대로 안 됨
• Vanishing Gradient ➔ ReLU(Rectified Linear Units)
• Overfitting ➔ Regularization (Dropout, Batch Normalization)
• Weight initialization? ➔ Random initialization, Xavier method, etc.

▪ 학습이 너무 느림
• 하드웨어 성능이 낮음 ➔ CPU, GPU 발전
• Gradient Decent ➔ SGD, Adam method

▪ 데이터 셋 부족