关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
, u7 n* \5 }; p# W# qlogistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？

6 |, X# q9 a, \说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。

这条直线是怎么得出的呢？
, M0 H% i6 p7 t4 H% K. P
: w# ^- z" Q- M8 y首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y
- M! Y5 m8 {/ S. o- Y& ^
我们可以得出y=w0*x0+w1*x1...wn*xn
" s# J9 Z5 k: N6 t. X! R/ s
, f. @2 D5 a# J2 N3 O  E然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法

根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。
* V# e" W3 [0 g9 O( X9 }8 U

! C5 K! y* a: q6 ]
/ {& k- ^& I$ @0 e* p4 B
这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面
$ c+ X- O1 J4 ~3 L4 ^# ?
+ Z. X9 T& k$ F+ U5 e2 h假设dataMatIn=array([[3,3],[4,4]])
2 x3 H' H5 P0 l1 w
) Z" j# n& u" D; G6 p那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])
4 Y9 I% k1 s7 H
$ g& z4 X7 D. N; P4 f" J然后就完成了。

继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。

2 u" ?; V& p: @" t2 w. o2 p然后我们的新的w=w+a*array(x0,x1...xn)*error
$ l( p$ h& D7 v" z+ F
% r! u9 C) m& x5 B8 \一般设置循环多少次然后停止或者当error小于多少值得时候算法停止
* a+ {" O7 e- X8 P
最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1


( o9 L- x$ I3 f+ H  f2 i: H7 k: N
# p) h6 n; t5 E4 D% Z2 ^7 _