Logistic回归原理浅谈

杨利霞

Logistic回归原理浅谈原文参考http://blog.csdn.net/ariessurfer/article/details/41310525
  n* A. M( U6 ?3 k9 E$ _Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。
在讲解Logistic回归理论之前，我们先从LR分类器说起。LR分类器，即Logistic Regression Classifier。在分类情形下，经过学习后的LR分类器是一组权值，当测试样本的数据输入时，这组权值与测试数据按照线性加和得到
! _( P, _1 V# l& K3 p
  Z' [% m0 w. Q这里是每个样本的n个特征。
5 v+ O7 O; t1 c
! r; V1 p% E5 ^) ?1 k+ F. S
这里是每个样本的n个特征。
+ T' ?* S% s% x" Z  _, {解出x之后，按照sigmoid函数的形式求出
& A& b1 Y: ~1 esigmoid函数的图像如图所示
" k5 u- _- v+ Dsigmoid函数的定义域为，值域为（0，1）。当x取值为（-INF，0），y的概率小于0.5，y取0的概率比较大；当x取值为（0，INF），y的概率大于0.5，y取1的概率比较大。因此最基本的LR分类器适合对两类目标进行分类。
sigmoid函数解释：假设在n个独立自变量作用下，记y取1的概率是p=P（y=1 | x），取0的概率是1-p，取1和取0的概率之比为，称为事件的优势比（odds），对odds取自然对数即得，则
8 R7 z' I' N/ H所以Logistic回归最关键的问题就是研究如何求得这组权值。这个问题是用极大似然估计来做的。
* `9 R% f% o: p  l# v
# [5 G) ?' \/ A3 j8 N: V下面正式地来讲Logistic回归模型。
5 E/ B0 L6 ^+ b2 a! D5 ULogistic回归模型是建立与自然变量的线性回归模型。
9 P' [1 F& ?0 [+ Y考虑具有n个独立变量的向量，记y取1的概率是p=P（y=1 | x），取0的概率是1-p，取1和取0的概率之比为，称为事件的优势比（odds），对odds取自然对数即得，则，
2 _2 G) y5 p* z/ G
假设有m个观测样本，观测值分别为，设取1的概率是，取0的概率是，所以得到一个观测值的概率服从二点分布，，因为各个观测样本之间相互独立，那么它们的联合分布为各边缘分布的乘积。得到似然函数为，然后我们的目标是求出使这一似然函数的值最大的参数估计，最大似然估计就是求出参数，使得L(w)取得最大值，对函数L(w)取对数，然后对n+1个分别求偏导，得到n+1个方程，解这个n+1个方程组得到。
上述方程比较复杂，一般方法似乎不能解之，所以我们引用了牛顿-拉菲森迭代方法求解。
( I4 O0 m5 x0 d3 a  H( L" t
: C6 D8 H- d; v. L