关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
logistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？
. |. c& A2 `5 h; p6 k! N% G) W
+ o. }, U7 d! S, J5 Q说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。

9 s1 S2 R+ @9 t% u1 v) P这条直线是怎么得出的呢？
9 p$ z: p& \2 j0 d. p
首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y

我们可以得出y=w0*x0+w1*x1...wn*xn
- |$ i% |0 P% }7 S  y
  i6 B7 O# Z. v然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法
+ A0 ^. X8 V" Q7 M. Y7 j/ }9 O
7 y  _- n' b% v2 l) t" P) n( B- B% Z根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。
9 H) T& \6 x5 g
" t8 _  Q4 x1 ^

2 D# g& c3 l: I0 g* `, r( g5 ]% w
这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面
4 |5 D% m8 o' T, B3 c7 T
5 E& ?& ~) F+ G3 m3 R  q假设dataMatIn=array([[3,3],[4,4]])

那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])

3 V% Y+ K- N+ @+ \3 S然后就完成了。

继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。
: A3 O4 F. e$ k; C$ F
# f' U) f9 h# {  L1 r$ W5 x然后我们的新的w=w+a*array(x0,x1...xn)*error
8 b$ z2 ^6 T6 W2 _" [
9 E- n: N" B. @/ f, n2 \; V3 U2 |一般设置循环多少次然后停止或者当error小于多少值得时候算法停止

最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1


' u/ f3 X, H1 `. _/ |
" o0 U- h" ?5 _: k- |: ?: n3 `