关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
# B; T  d0 S. mlogistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？
& U( o- ?/ h- O' T  M. `9 u0 T
" x0 a4 `$ R/ |说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。
* n: i7 P) a4 H
( k5 c7 _2 L" d$ }" Z8 g这条直线是怎么得出的呢？

: X0 H# Z8 {6 P6 m/ g首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y

& h6 T! Q9 K0 k8 x我们可以得出y=w0*x0+w1*x1...wn*xn
& B$ `7 }, C3 J; v8 M
然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法

根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。

/ s3 i) G6 s( j. z" Y

. [( Y8 ]3 x) [; B; n4 C  f* S" p
8 a& Y/ e% v# o# S3 K! W4 j这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面

) l" H6 E' y% `' i  ]9 |/ h6 A假设dataMatIn=array([[3,3],[4,4]])

那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])
; T9 h5 O( j* X7 k3 e0 y
7 o1 Y* F& @$ `9 j- R) m然后就完成了。

继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。
! N* T1 h* u' q) h$ v% C6 h
$ T3 G' q1 U  f$ b3 m然后我们的新的w=w+a*array(x0,x1...xn)*error
  _: q$ e  O" _
& n' o8 f. n! T7 Z( u( I一般设置循环多少次然后停止或者当error小于多少值得时候算法停止
- m: ?% e  N: v" V5 D3 s  U
最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1
0 w# u+ k5 w+ V2 K

- O( |7 \7 O7 K3 l1 Y8 D: F! D4 d3 t