逻辑回归公式的数学推导

逻辑回归中的数学推导

逻辑回归模型是基于这样的逻辑分布得出的模型

F(x) = 1/(1+e^x)

由此也得出了二项逻辑回归分布是：

P(Y=1|x) = e^(wx+b)/(1+e^(wx+b))

P(Y=0|x) = 1/(1+e^(wx+b))

也得出了多项逻辑回归分布是：

P(Y=k|x) =  e^(wx)/(1+∑e^(wx))

那么这个 1/(1+e^x)到底是怎么来的呢？我们来证明这一公式

首先假设0、1分布当Y=1的概率为

P(Y=1) = φ

那么

P(Y=0) = 1-φ

把他们变成统一的形式可以是：

P(y; φ) = φ^y (1-φ)^(1-y)

解释一下，这里如果y=0，那么前一项是1，就是p(y;φ) = 1-φ，而如果y=1，那么后一项就为1，就是p(y;φ) = φ

下面继续推导，我们知道有一个等式：a = e^(ln a)

那么把右面改成指数形式如下：

P(y; φ) = φ^y (1-φ)^(1-y) = e^(log(φ^y (1-φ)^(1-y))) = e ^ (y logφ + (1-y) log(1-φ)) = e^(log(φ/(1-φ))y+log(1-φ))

因为任何分布都能写成一种指数形式的分布：

p(y; η) = b(y) e^(ηT(η) - a(η))

这里面我们按照对应关系得出η=log(φ/(1-φ))，那么φ/(1-φ) = e^η，那么解出φ = 1/(1+e^(-η))

所以得出P(Y=1) = φ =  1/(1+e^(-η))

大功告成，终于知道逻辑回归公式是怎么来的了