关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
logistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？
) l/ |9 O" {- ^2 S( M. p
; s7 o) W0 j* d+ p: z; [# |& \说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。

这条直线是怎么得出的呢？
, g; f: F  u/ n+ h: M" \, X9 u
首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y
& {1 g! l5 f4 H7 `; Y9 W
2 x$ a, g2 z$ m& S, k) p1 ~6 |* |我们可以得出y=w0*x0+w1*x1...wn*xn

5 f( o* C) H) c, L! X1 T然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法

根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。
0 k6 [! K- E; h; ]' c

% O; W5 [. ]1 ^% u/ I/ e& a3 h: p
) H3 u4 j; G' z9 }; O
这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面

$ P6 h1 k, i. d+ ?3 L  ~' z: I) D7 Q假设dataMatIn=array([[3,3],[4,4]])
1 J, E8 |" \# U" v- j
) V6 D) \% g8 F4 L那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])
: i4 x% Q* j* o$ i! ]1 A
然后就完成了。
6 G0 _+ C; Y, s! C# o1 |
继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。

3 X7 u& A, Q' w  K- m/ e然后我们的新的w=w+a*array(x0,x1...xn)*error
: d3 V/ X. `/ B2 N% ]7 J" w  P3 s
- u* v. p- @' U1 h1 J4 ]# J一般设置循环多少次然后停止或者当error小于多少值得时候算法停止

) B' y- }4 I" J8 `1 S最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1


) _! L1 C9 s& Q  Z