关于Logistics回归用于分类的解释

杨利霞

关于Logistics回归用于分类的解释
6 R0 x. ~: b% R0 b6 D3 t# Y9 ylogistics回归让人最搞不懂的是，明明名字里面带了个回归两个字，为什么这是一种分类算法呢？

说到回归大家想到的都是根据一些点得出一条直线或者曲线。的确logistics回归也是得出一条直线，然后如果这个点在这条线的一边比如说上面属于一个类别，另一个点处于这条线的另一边比如说下边则属于另一个类别。
- K" w4 g/ C$ B/ h3 B
这条直线是怎么得出的呢？

5 g. q; q) J1 j$ k首先假设所有的输入为（x0,x1....xn），输入前面的系数为（w0,w1...wn），输出为y
1 ~8 B0 W, }4 N# Y* |5 `& E. y
5 Z$ z9 g2 a' r. n$ M% N# k我们可以得出y=w0*x0+w1*x1...wn*xn
& W/ G& W) W1 r5 ]( W
然后将系数（w0,w1..wn）取随机值。然后开始训练网络。训练的算法叫做梯度上升算法
+ V. A+ M5 d) ^8 T1 @
1 u# `& S5 Z" l+ y根据y=w0*x0+w1*x1...wn*xn，我们可以对所有输入（x0,x1...xn）求导即是求梯度。

. I9 E9 f. l3 g/ s5 \. a9 {2 K% d' r
1 e8 o) e" U$ ]7 y9 e" s

这个公式什么意思呢？学过微积分的同学都知道，问题是像我这种没学好的就放放吧。大家只要知道能通过将矩阵转一下就能得到，转一下的意思在下面
; _, q4 Q! \' ]$ G3 n. [( P6 q
假设dataMatIn=array([[3,3],[4,4]])
% Q/ @$ }7 z+ f7 `; @8 M$ |# k! U
, q" A& h. f5 l3 P1 U! |那么dataMatIn的梯度就是dataMatIn.transpose()   => array([[3,4],[3,4]])
: O8 c) Y3 p, ~# `- v
9 {8 O% H6 {8 v" A3 q# e然后就完成了。
" A2 u! X! K! H6 ]) y6 [& R8 I
- w. `8 J% c7 F4 D继续讲如何训练的，我们还需要计算期望结果和输出的差error以及假设一个步长a，步长a是根据经验来决定的，步长太短很可能训练了很久还没找到最适合的值，步长太长就能难准确地到达合适的值。

( ?8 j+ d& G- z9 @然后我们的新的w=w+a*array(x0,x1...xn)*error
# z6 F! p) F7 m0 O
一般设置循环多少次然后停止或者当error小于多少值得时候算法停止

最后我们还要将y输入进阶跃函数来完成分类。不过由于阶跃函数在零点没有值所以有各种各样的麻烦，所以换成sigmoid函数，当<0.5时等于0，当 >0.5时等于1
% l' l7 {0 D7 T) I9 {+ X* a! c