逻辑回归推导

我们在讲逻辑回归推导前，先给大家介绍下损失函数

损失函数用于描述模型预测值与真实值的差距大小。一般对于回归问题的算法有—均值平方差（MSE）和交叉熵。

1、均值平方差

均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值。

2、交叉熵

交叉熵（crossentropy）也是loss算法的一种，一般用在分类问题上，表达意思为预测输入样本属于哪一类的概率。其表达式如下，其中y代表真实值分类（0或1）, a代表预测值。

二分类情况下的公式：

C=-\frac{1}{m}\sum_{i=1}^{m}[{yln(a_{i}})+({1-y)ln(1-a_{i}})]

交叉熵也是值越小，代表预测结果越准。

3、损失算法的选取

损失函数的选取取决于输入标签数据的类型：

如果输入的实数、无界的值，损失函数使用均值平方差。

如果输入标签是位矢量（分类标志），使用交叉熵会更适合。

下面我们正式进入推导过程

假如我们得到线性回归如下：

f(x)=\theta _{0}+\theta _{1}x_{1} +\theta _{2}x_{2}+\cdot \cdot \cdot +\theta _{n}x_{n}

线性回归是拟合函数，给我们提供的是一个预测值，值的范围是（-∞，+∞），如果我们想知道分布概率，这时候我们可以引入sigmoid函数，将

f (x)

值从（-∞，+∞）压缩到（0,1），

对线性可分样本，我们将 $f (x)$ 代入sigmoid函数，即可得到：

Z=\frac{1}{1+e^{-x}}=\frac{1}{1+e^{-f(x)}}

这是若 f(x)=0 ,则Z=0.5,

若f(x)>0 ,则Z>0.5,我们将Z>0.5,分为1类，令y=1，

若f(x)<0 ,则Z<0.5,我们将Z<0.5,分为0类，令y=0，

这里我们令

h(x)=Z=\frac{1}{1+e^{-f(x)}}

这时我们可得到概率模型

P(x_{i})=\left\{\begin{matrix} h(x_{i}) &if y=1 \\ 1-h(x_{i}) &if y=0 \end{matrix}\right.

我们进一步把两式整合

P(x)=(h(x_{i}))^{y_{i}}*(1-h(x_{i}))^{1-y_{i}}

这样我们可以把模型最优问题看做是极大似然估计问题

L(\theta )= \prod_{i=1}^{m}(P(x))=\prod_{i=1}^{m}[(h(x_{i}))^{y_{i}}*(1-h(x_{i}))^{1-y_{i}}]

似然函数取对数

ln(L(\theta ))=\sum_{i=1}^{m}[{y_{i}ln(h(x_{i})})+({1-y_{i})ln(1-h(x_{i})})]

要使似然函数最大，即max ：

\frac{1}{m}\sum_{i=1}^{m}[{y_{i}ln(h(x_{i})})+({1-y_{i})ln(1-h(x_{i})})]

线性回归和逻辑回归的损失函数是标准的凸函数，即可知min：

-\frac{1}{m}\sum_{i=1}^{m}[{y_{i}ln(h(x_{i})})+({1-y_{i})ln(1-h(x_{i})})]

这样我们可以得到损失函数为

J(\theta )=-\frac{1}{m}\sum_{i=1}^{m}[{y_{i}ln(h(x_{i})})+({1-y_{i})ln(1-h(x_{i})})]

现在我们可以通过梯度下降算法求出min 的J(θ)

θ梯度更新：

\theta _{i}=\theta _{i}-\lambda \frac{\partial J(\theta )}{\partial \theta }

另外，对于sigmoid函数 Z‘=Z（1-Z）

\frac{\partial{J(\theta)}}{\partial \theta }=-\frac{1}{m}\sum_{i=1}^{m}[{y_{i}}\frac{1}{h(x_{i})}\frac{\partial {h(x_{i})}}{\partial\theta }-(1-{y_{i}})\frac{1}{1-h(x_{i})}\frac{\partial{h(x_{i})} }{\partial\theta }]

$\frac{1}{m} \sum_{i=1}^{m}\left [y_{i}\frac{1}{h{\left ( x_{i} \right )}} -(1-y_{i}) \frac{1}{1-h{({x_{i}})}}\right ] \frac{\partial h{({x_{i}})} }{\partial \theta _{i}}$

$由h_{(x_{i})}=\frac{1}{1+e^{-f{(x)}}} , f(x)=\theta _{0}+\theta _{1}x_{1} +\theta _{2}x_{2}+\cdot \cdot \cdot +\theta _{n}x_{n} ,sigmoid函数 \frac{\partial{Z}}{\partial (f({x}))}=Z(1-Z)$