关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
logistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？

/ n  v7 F" _2 r. H% Z: V说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。
/ q4 X: e% L- B3 ?
3 c! U  q0 c( l- W+ E这条直线是怎么得出的呢？
+ N) M  _! A9 S; `- |$ q3 y
: D4 V3 k2 E: r1 R9 F( k: R首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y

4 C; P/ k6 {. @( P我们可以得出y=w0*x0+w1*x1...wn*xn
0 M, d/ h7 [& M5 D: p+ E  [3 ^5 B
  m3 X: c7 C& \然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法
+ E: ^, x1 m, D! @7 i, u
& B6 S$ r& |% N0 h+ ^根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。


* x1 |: K" a! l2 B- p* t" T' k& r
$ L/ X# }! \" N' ~, J
5 O8 G2 N; e* Q2 h$ K" I这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面
  H) B3 I+ ]6 c; ?$ N) ]1 u" u
) ~/ n9 j) T4 ~/ x4 `& F假设dataMatIn=array([[3,3],[4,4]])
) P$ W1 p; |. n* S1 O2 x9 l" i
3 P% T, d, Z# X) l) g那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])
1 J! P# f/ p6 R7 a! Q
然后就完成了。
3 b# ?+ {. L) u* e3 z
继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。

" r5 _  h, r. R- o, m然后我们的新的w=w+a*array(x0,x1...xn)*error
4 r0 J% v! x/ ^; b
  F1 F5 O+ M  [" c一般设置循环多少次然后停止或者当error小于多少值得时候算法停止

最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1
( D: b* T5 h( m0 U/ E
. \& D& U6 L6 ?  ?