로짓함수 (Logit Function)

이 함수는 로지스틱 회귀에서 확률을 계산하는 데 사용되며, 주어진 입력 값이 특정 클래스 (예: 1 또는 0)에 속할 확률을 나타낸다.

여기서 p는 특정 사건이 발생할 확률을 의미한다.

이 수식은 p와 1-p의 비율 (오즈 비율)을 로그 변환한 값이다.

로그 변환을 통해 함수의 결과는 실수 전체를 나타낼 수 있게 된다.

 

 

유도과정

1. 확률의 정의

우선, 어떤 사건이 발생할 확률 ppp가 주어졌다고 가정한다. 이 확률은 다음과 같이 표현된다:

2. 오즈 비율(Odds Ratio)

오즈 비율은 사건이 발생할 확률 p와 사건이 발생하지 않을 확률 1−p의 비율로 정의된다:

오즈 비율은 사건이 발생할 가능성과 발생하지 않을 가능성의 비율을 나타내며, 이 값은 0부터 무한대까지의 값을 가질 수 있다.

3. Logit 함수 정의

Logit 함수는 오즈 비율에 자연 로그를 취한 값으로 정의된다. 이 함수는 확률을 실수 전체(-∞에서 +∞까지)로 변환한다:

자연 로그를 사용한 이유는, 로그 변환을 통해 오즈 비율의 곱셈 관계를 덧셈 관계로 단순화할 수 있기 때문이다.

4. 역변환: 시그모이드 함수

이제 logit 함수의 역함수를 구해보겠다. logit 함수는 오즈 비율에 로그를 취한 것이므로, 이를 다시 확률 p로 표현하려면 다음과 같이 유도할 수 있다:

1. Logit 함수의 정의에서 시작한다

여기서 z는 logit 함수의 출력 값이다.

 

2. 양변에 지수 함수를 적용하여 로그를 제거한다:

 

3. 양변에 1−p를 곱하여 p에 대해 정리한다:

 

이 식이 바로 시그모이드 함수이며, logit 함수의 역함수로 작동한다: