关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
2 C3 @' f5 ?$ Nlogistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？
' M  ~' Y0 X, c; N: v4 w" Y
说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。
3 A$ G+ e5 }$ l( k) J
6 Z; i5 m1 _3 U  @# s: O这条直线是怎么得出的呢？

首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y
* C1 x0 o1 g3 J$ R) x
# `& }5 t4 C1 B' m1 c$ {我们可以得出y=w0*x0+w1*x1...wn*xn
2 V5 Q9 w6 m. J6 G) I
然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法
3 }9 P1 P9 W3 ^% Z7 d7 t
根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。
  J4 X( D" g/ D
' |9 [: C' q# f! a+ S


这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面

假设dataMatIn=array([[3,3],[4,4]])

( M# L# E2 M0 H0 w! O那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])

9 s& W& {$ J& G然后就完成了。

: o* y7 N5 ], a  @继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。
  h1 }+ N/ ]9 z$ s; W
) b+ R; H0 _: O0 p9 x/ r- I然后我们的新的w=w+a*array(x0,x1...xn)*error
' X) X6 D2 z2 z& C
一般设置循环多少次然后停止或者当error小于多少值得时候算法停止

+ @5 d0 b- B0 k& N. ?6 `9 N最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1
$ I2 C9 D  Z0 w) M5 A1 K# F
. p- ]+ L6 ^6 j! A9 C

& c$ A; R% Z: S- y. }) F