로지스틱 회귀 모델의 비용 함수 미분해보기

로지스틱 회귀는 입력을 두 가지의 범주로 분류하는 선형 이진 분류 모델이다.
선형 회귀 식에 로지스틱 함수를 씌워 출력값을 0-1 사이의 확률 값으로 만들어 분류를 수행한다.

$$ \hat p = h_\theta (\mathbf{x}) = \sigma(\theta^\top_\mathbf{x})\\
\sigma(t) = \frac{1}{1+\exp(-t)}$$

입력 $\mathbf x$에 대한 예측 $\hat y$는 다음과 같다.

$$\hat y = \begin{cases} 0 &\text{if }\hat p < 0.5 \\ 1 & \text{if } \hat p \geq 0.5  \end{cases}$$ 

로지스틱 회귀의 비용 함수는 다음과 같다.

$$ J(\theta) = -\frac{1}{m}\sum^m_{i=1}[y^{(i)} \log(\hat p^{(i)}) + (1-y^{(i)}) \log(1-\hat p^{(i)})] $$

비용함수를 가중치 $\theta$에 대하여 미분 과정은 다음과 같다.

$$ \frac{\partial }{\partial \hat p}J(\theta) = [\frac{y^i}{\hat p^i} - \frac{1-y^i}{1-\hat p^i}]'\\
= [\frac{y^i - y^i\hat p^i - \hat p^i + y^i\hat p^i}{\hat p^i(1-\hat p^i)}]'\\
=[\frac{y^i - \hat p^i}{\hat p^i (1-\hat p^i)}]'$$

이때, $p = \sigma(Z), Z^i = \theta^\top\mathbf x^i$이므로,

$$\frac{\partial \hat p^i}{\partial Z^i} = \frac{\partial}{\partial Z^i}[\frac{1}{1+e^{-Z^i}}]\\
= \frac{\partial}{\partial Z^i}(1+e^{-Z^i})^{-1}\\
=(-1)(1+e^{-Z^i})^{-2}(e^{-Z^i})(-1)\\
=\frac{e^{-Z^i}}{(1+e^{-Z^i})^2} = \frac{1}{1+e^{-Z^i}}\frac{e^{-Z^i}}{1+e^{-Z^i}}\\
= \sigma(Z^i)(1-\sigma(Z^i))$$

$$\frac{\partial Z^i}{\partial \theta^i}=\frac{\partial}{\partial \theta^i}[\theta^{i\top}x^i_j] = x^i_j$$

위 미분을 이용하여, $J(\theta)$를 $\theta$로 미분하면 아래와 같다.

$$\frac{\partial}{\partial \theta^i}J(\theta) = -\frac{1}{m}\sum^m_{i=1}[\frac{y^i-\hat p^i}{\hat p^i(1-\hat p^i)}(\hat p^i(1-\hat p^i))x^i_j]\\
= -\frac{1}{m}\sum^m_{i=1}[(y^i-\hat p^i)x^i_j] = \frac{1}{m}[x^i_j(\hat p^i-y^i)]\\
= \frac{1}{m}\sum^m_{i=1}(\sigma(\theta^\top x^i)-y^i)x^i_j$$