[딥러닝] 선형, 로지스틱, 소프트맥스 회귀

회귀모델(Regression Model)은 머신러닝과 통계학에서 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하는 방법이다.

선형회귀 문제를 딥러닝을 통해 풀기도 하고, 분류를 위해 로지스틱 회귀를, 다중분류를 위해 소프트맥스 회귀를 사용하는 등 딥러닝과 회귀모델은 상호보완적인 관계이다.

따라서 딥러닝을 이해할 때 회귀모델을 알아두면 좋다.

하나씩 알아보자!

 

---

 

선형 회귀(Linear Regression)

 

종속 변수와 독립 변수들 사이의 관계가 직선으로 표현될 수 있을 때 사용하는 모델

알려진(독립변수) 다른 관련 데이터 값을 사용하여 알 수 없는(종속변수) 데이터의 값을 예측하는 데이터 분석 기법

다층 퍼셉트론(MLP)을 사용하여 선형 회귀 문제를 해결할 수 있으며, 더 복잡한 비선형 관계도 학습할 수 있음

독립변수의 개수에 따라 단순선형회귀(1개)와 다중선형회귀(2개이상)로 분류할 수 있다.

 

 

로지스틱 회귀(Logistic Regression)

 

수학을 사용하여 두 데이터 요인 간의 관계를 찾는 데이터 분석 기법

이 관계를 사용하여 다른 요인을 기반으로 이러한 요인 중 하나의 값을 예측

이진 분류 문제 또는 사건의 발생 확률을 예측하는 데 사용

ex. 이메일이 스팸인지 아닌지, 특정 질병에 걸릴 확률 예측 등

딥러닝 모델에서 출력 층에 시그모이드 활성화 함수를 적용하여 이진 분류 문제를 해결

시그모이드 함수 : 예측값을 0과 1 사이로 압축

시그모이드 함수

 

 

소프트맥스 회귀(Softmax Regression)

 

로지스틱 회귀의 확장

다중 분류 문제에서 각 클래스에 속할 확률을 예측하기 위해 사용

ex. 손글씨 숫자 인식, 이미지 분류 등

딥러닝 모델에서 출력 층에 소프트맥스 활성화 함수를 적용하여 다중 분류 문제를 해결

확률의 총합이 1이 되도록 함

소프트맥스 함수