머신러닝 강좌 #11] 분류(Classification)의 개요

지도 학습(Supervised Learning)은 레이블(Label), 즉 명시적인 정답이 있는 데이터가 주어진 상태에서 학습하는 머신러닝 방식입니다. 지도 학습의 대표적인 유형인 분류(Classification)는 학습 데이터로 주어진 데이터의 피처와 레이블 값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델을 생성하고, 이렇게 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것입니다. 즉, 기존 데이터가 어떤 레이블에 속하는지 패턴을 알고리즘으로 인지한 뒤에 새롭게 관측된 데이터에 대한 레이블을 판별하는 것입니다.

 

분류를 사용하는 머신러닝 알고리즘에는

• 베이즈 통계와 생성 모델에 기반한 나이브 베이즈
• 독립변수와 종속변수의 선형 관계성에 기반한 로지스틱 회귀
• 데이터 균일도에 따른 규칙 기반의 결정 트리(Decision Tree)
• 개별 클래스 간의 최대 분류 마진을 효과적으로 찾아주는 서포트 벡터 머신(Support Vector Machine)
• 근접 거리를 기준으로 하는 최소 근접(Nearest Neighbor) 알고리즘
• 심층 연결 기반의 신경망(Neural Network)
• 서로 다른(또는 같은)머신러닝 알고리즘을 결합한 앙상블(Ensemble)

 

여기서 앙상블은 서로 다른/또는 같은 알고리즘을 단순히 결합한 형태도 있으나, 일반적으로는 배깅과 부스팅 방식으로 나뉩니다. 배깅 방식의 대표인 랜덤 포레스트는 뛰어난 예측 성능, 상대적으로 빠른 수행 시간, 유연성 등으로 많은 분석가가 애용하는 알고리즘 입다. 하지만 근래의 앙상블 방법은 부스팅 방식으로 지속해서 발전하고 있습니다.

 

XgBoost와 LightGBM등 기존 그래디언트 부스팅의 예측 성능을 한 단계 발전시키면서도 수행 시간을 단축시킨 알고리즘이 계속 나오고 있습니다.