1. 딥러닝이란 무엇인가? 작동 원리에 대한 이해

딥러닝이란 무엇인가?____________________________

 

딥러닝은 머신 러닝의 특정한 한 분야로서 연속된 층(layer)에서 점진적으로 의미 있는 표현을 배우는 데 강점이 있으며, 데이터로부터 표현을 학습하는 새로운 방식입니다. 

 

딥러닝의 딥(deep)란 단어는 연속된 층으로 표현을 학습한다는 개념을 나타냅니다. 데이터로부터 모델을 만드는 데 얼마나 많은 층을 사용했는지가 그 모델의 깊이가 됩니다.

 

딥러닝에서는 기본 층을 겹겹이 쌓아 올려 구성한 신경망이라는 모델을 사용하여 표현 층을 학습합니다. 

 

↓

위의 그림과 같이 최종 출력에 대해 점점 더 많은 정보를 가지지만 원본 이미지와는 점점 더 다른 표현하는 숫자 이미지가 변환됩니다. 심층 신경망을 정보가 연속된 필터를 통과하면서 순도 높게 (즉 어떤 작업에 대해서 유용하게) 정제되는 다단계 정보 추출 작업으로 생각할 수 있습니다.

 

 

 

딥러닝의 작동 원리 이해하기____________________________

 

층(layer)에서 입력 데이터가 처리되는 상세 내용은 일련의 숫자로 이루어진 층의 가중치(weight)에 저장되어 있습니다. 기술적으로 말하면 어떤 층에서 일어나는 변환은 그 층의 가중치를 파라미터(parameter)로 가지는 함수로 표현됩니다.

 

이런 맥락으로 보면 학습은 주어진 입력을 정확한 타깃에 매핑하기 위해 신경망의 모든 층에 있는 가중치 값을 찾는 것을 의미합니다. 하지만 파라미터가 많을경우 모든 정확한 값을 찾는 것은 어려운 일인데요. 파라미터 하나의 값을 바꾸면 다른 모든 파라미터에 영향을 끼치기 때문입니다.

 

그러므로 특정 파라미터를 조정하려면 신경망의 출력을 제어하려는 출력이 기대하는 것보다 얼마나 벗어났는지를 측정해야 합니다. 이는 신경망의 손실 함수(loss function)또는 목적함수(objctive function)이 담당하는 일이 됩니다. 이를 통해 신경망이 한 샘플에 대해 얼마나 잘 예측했는지 측정하기 위해 손실 함수가 신경망이 예측과 진짜 타깃의 차이를 점수로 계산합니다. 이를 손실 점수(loss score)라 합니다.

 

기본적인 딥러닝 방식은 이 점수를 피드백 신호로 사용하여 현재 샘플의 점수가 감소되는 방향으로 가중치 값을 조금씩 수정하는 것입니다. 이런 수정 과정은 딥러닝의 핵심 알고리즘인 역전파(Backpropagation) 알고리즘을 구현한 옵티마이저(optimizer)가 담당합니다.

 

초기에는 네트워크의 가중치가 랜덤한 값으로 할당되므로 랜덤한 변환을 연속적으로 수행합니다. 자연스럽게 출력은 기대한 것과 멀어지고 손실 점수가 매우 높을 것입니다. 하지만 네트워크가 모든 샘플을 처리하면서 가중치가 조금식 올바른 방향으로 조정되고 손실 점수가 감소합니다. 이를 훈련 반복이라고 합니다. 충분한 횟수만큼 반복하면 손실 함수를 최소화 하는 가중치 값을 산출합니다. 최소한의 손실을 내는 네트워크가 타깃에 가능한 가장 가까운 출력을 만드는 모델이 됩니다.