ML - 4. 이진분류(Binary Classification)의 개념

1. 이진 분류(Binary Classification)

이진 분류(Binary Classification)는 분류 규칙에 따라 집합의 요소를 두 그룹으로 분류하는 방법이다.

예를 들어, 공부 시간에 따른 시험 합격, 불합격 결과를 예측하는 모델은 두 그룹으로 분류하는 이진 분류(Binary Classification)이다.

 

2. 단계 ① : Logistic Hypothesis

이진 분류(Binary Classification)에서는 H(x)가 0 또는 1이여야 하므로 Logistic Hypothesis가 필요하다.

H(x)=Wx+b에 sigmoid함수 g(z)를 씌워 Logisitc Hypothesis를 구할 수 있다. 

Sigmoid Function

Sigmoid Function은 0~1값을 가지는 함수이며, 이에 따라 Hypothesis 값도 0~1값을 가지게 된다.

 

3. 단계 ② : Cost Function

회귀(Regression)에서는 Hypothesis와 실제값의 차의 제곱을 하여 Cost Function을 구했다.

그러나 이진 분류(Logistic Classification)에서는 새로운 Hypothesis가 자연상수 e를 포함하고 있는 형태로 새로 정의했고, 이를 제곱하서는 Local Minimmum Point가 하나인 Convex Function을 구할 수 없다.

Convex vs Non-convex

그래서 다음과 같은 log를 포함한 새로운 형태의 Cost Function을 정의한다. 

h(x)는 예측값, y는 실제값

예측값과 실제값이 일치할 때 cost = 0, 일치하지 않을 때 cost = ∞ 가 된다.

이를 하나의 수식으로 정리하면 다음과 같다.

combined cost function

 

4. 단계 ③ : Minimize Cost Function / 경사하강법

위에서 구한 Cost Function에 경사하강법을 이용하여 최솟값을 구한다.