数学建模社区-数学中国

标题: Logistic回归--实例 [打印本页]

---

作者: 2744557306    时间: 2023-11-30 17:30
标题: Logistic回归--实例

1. """
   ; Z0 |4 R- m' p3 Z' m! L
2. 函数说明:梯度上升算法测试函数
   0 u( d; V! }5 |) D7 u+ C
3. 
   
4. 求函数f(x) = -x^2 + 4x的极大值
   
5. 
   
6. Parameters:
   
7.     无
   ' |) E! S3 E* V. C9 ^
8. Returns:
   
9.     无
     G1 S8 q* B& i4 @
10. """
    : c& J) _9 ]+ ]" g, s; L3 Z9 {
11. def Gradient_Ascent_test():
    
12.     def f_prime(x_old):                                    #f(x)的导数
    
13.         return -2 * x_old + 4
    
14.     x_old = -1                                            #初始值，给一个小于x_new的值
    9 T  Z1 b" ?/ C4 C& n( J
15.     x_new = 0                                            #梯度上升算法初始值，即从(0,0)开始
    * q! S" V3 R' y$ U
16.     alpha = 0.01                                        #步长，也就是学习速率，控制更新的幅度
    8 ^( v! r$ z  K# E3 N* n0 X( D' }
17.     presision = 0.00000001                                #精度，也就是更新阈值
    
18.     while abs(x_new - x_old) > presision:
    ( |( q! C- @8 L2 z% Q7 A" a' H
19.         x_old = x_new
    & q/ X) m" V' f) s) q
20.         x_new = x_old + alpha * f_prime(x_old)            #上面提到的公式
    + b# m7 d5 ^% d4 e9 Y
21.     print(x_new)                                        #打印最终求解的极值近似值
    
22. 
    
23. if __name__ == '__main__':
    
24.     Gradient_Ascent_test()
    

复制代码

运行实例：

1. 1.999999515279857
   2 u5 ~* M1 ^" G1 U! }8 J

复制代码

案例数据集下载：https://github.com/Jack-Cherish/Machine-Learning/blob/master/Logistic/testSet.txt

1. -0.017612  14.053064  0
   5 `  v; s  Y" a1 [
2. -1.395634  4.662541  1
   
3. -0.752157  6.538620  0
   1 d/ K' ^/ `* S+ W, M9 E
4. -1.322371  7.152853  0
   
5. 0.423363  11.054677  0
   8 N3 V0 B8 K: q: C
6. 0.406704  7.067335  1
   % E1 h; H* l% k( W/ Q& |
7. 0.667394  12.741452  0
   
8. -2.460150  6.866805  1
   
9. 0.569411  9.548755  0
   
10. -0.026632  10.427743  0
    ) E7 c8 C$ m5 b) T0 k# S

复制代码

这个数据有两维特征，因此可以将数据在一个二维平面上展示出来。我们可以将第一列数据(X1)看作x轴上的值，第二列数据(X2)看作y轴上的值。而最后一列数据即为分类标签。根据标签的不同，对这些点进行分类。

1. import matplotlib.pyplot as plt
   ; u- O/ _4 A& I0 m" M
2. import numpy as np
   9 c$ D, l8 K6 @; J# F  E( w
3. 
   ! {( K; P6 [$ F9 L
4. """
   " M& r+ B5 S6 M, |/ f! e6 ^0 Y: Q
5. 函数说明:加载数据
   
6. 
   % [0 F$ `. ~; ]9 h
7. Parameters:
   
8.     无
   
9. Returns:
   
10.     dataMat - 数据列表
    
11.     labelMat - 标签列表
    
12. """
    ! |! _2 ?" u; }+ o1 ]
13. def loadDataSet():
      G* p7 X9 k$ A. u6 n
14.     dataMat = []                                                        #创建数据列表
    9 V% S/ N9 p  ?5 ?  j) U# l
15.     labelMat = []                                                        #创建标签列表
    
16.     fr = open('testSet.txt')                                            #打开文件   
    
17.     for line in fr.readlines():                                            #逐行读取
    
18.         lineArr = line.strip().split()                                    #去回车，放入列表
    
19.         dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])        #添加数据
    
20.         labelMat.append(int(lineArr[2]))                                #添加标签
    # M% G3 \9 }+ n# R( Z5 |
21.     fr.close()                                                            #关闭文件
    8 J/ w( ~( I# o, d( X) H: c+ C& k$ ?
22.     return dataMat, labelMat                                            #返回
    # |9 \6 \. F( }6 @; G8 W3 v/ ]- n
23. 
    
24. """
    
25. 函数说明:绘制数据集
    
26. 
    ' a4 D9 G' _* R4 [& w: N9 _, i& D
27. Parameters:
    / V. j# P- F, z' `3 G3 C
28.     无
    6 d% `6 L  l/ k8 X
29. Returns:
    
30.     无
    2 D6 p( D4 @; o2 u& f$ w
31. """
    $ w# w+ r1 P9 G; v
32. def plotDataSet():
    ( C" g5 \# H' x* u8 ]1 O% @
33.     dataMat, labelMat = loadDataSet()                                    #加载数据集
    3 {1 v9 H5 W" K
34.     dataArr = np.array(dataMat)                                            #转换成numpy的array数组
    
35.     n = np.shape(dataMat)[0]                                            #数据个数
    
36.     xcord1 = []; ycord1 = []                                            #正样本
    " p& R1 w3 ?8 B, k8 z+ k7 |2 Z+ v
37.     xcord2 = []; ycord2 = []                                            #负样本
    8 W! Y' G) i5 q/ S# c6 e' [' X
38.     for i in range(n):                                                    #根据数据集标签进行分类
    $ \' @0 [, N1 l& w& d
39.         if int(labelMat[i]) == 1:
    ( M# ?0 X9 X, d# o) N% G1 }
40.             xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])    #1为正样本
    
41.         else:
    9 E0 }9 L, _- h& v, d  Q" y
42.             xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])    #0为负样本
    $ I; j- Q* L8 W! O1 `8 s
43.     fig = plt.figure()
    
44.     ax = fig.add_subplot(111)                                            #添加subplot
    
45.     ax.scatter(xcord1, ycord1, s = 20, c = 'red', marker = 's',alpha=.5)#绘制正样本
    3 s7 h3 m/ N' Z( i' o" l6 J
46.     ax.scatter(xcord2, ycord2, s = 20, c = 'green',alpha=.5)            #绘制负样本
    $ U, q+ j$ B- i/ C) U# ^, P
47.     plt.title('DataSet')                                                #绘制title
    0 X2 v" U/ f$ T: c
48.     plt.xlabel('x'); plt.ylabel('y')                                    #绘制label
    
49.     plt.show()                                                            #显示
    
50. 
    
51. if __name__ == '__main__':
    * @& ?- M/ p6 B" R, \
52.     plotDataSet()
    ' n8 J/ f, o; G$ Q6 L: z

复制代码

从上图可以看出数据的分布情况。假设Sigmoid函数的输入记为z，那么z=w0x0 + w1x1 + w2x2，即可将数据分割开。其中，x0为全是1的向量，x1为数据集的第一列数据，x2为数据集的第二列数据。另z=0，则0=w0 + w1x1 + w2x2。横坐标为x1，纵坐标为x2。这个方程未知的参数为w0，w1，w2，也就是我们需要求的回归系数(最优参数)。

1. import numpy as np
   ( ?2 }0 C6 N# B5 `8 H
2. 
   
3. """
   $ N' M# P8 B6 \4 T% u. _: w
4. 函数说明:加载数据
   
5. 
   * s$ ^" l2 r* _
6. Parameters:
   1 U$ d: g3 Y" F" g5 O
7.     无
   
8. Returns:
   6 U& ^8 G- I$ H& o! R) L- ~
9.     dataMat - 数据列表
   
10.     labelMat - 标签列表
    0 }; {. T% L/ e
11. """
    2 }8 v2 l% E/ C( l# j  r9 C2 ~( m
12. def loadDataSet():
    
13.     dataMat = []                                                        #创建数据列表
    
14.     labelMat = []                                                        #创建标签列表
    # O; X0 n+ V3 g7 H7 [
15.     fr = open('testSet.txt')                                            #打开文件   
    
16.     for line in fr.readlines():                                            #逐行读取
    
17.         lineArr = line.strip().split()                                    #去回车，放入列表
    4 U8 @1 ^% A7 l8 |& ^
18.         dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])        #添加数据
    ; w; z3 M; M' y5 u: `( N/ W% {
19.         labelMat.append(int(lineArr[2]))                                #添加标签
    
20.     fr.close()                                                            #关闭文件
    # {+ \: R  D+ r6 s4 k! Q6 c: j
21.     return dataMat, labelMat                                            #返回
    5 n7 u7 I# s! O' c
22. 
    4 W% \" Q+ S) t- B- o3 d$ V9 T) _
23. """
    & {. M5 c3 i5 m# T
24. 函数说明:sigmoid函数
    * Q# I, }7 ]# Y% P4 M3 N4 s
25. 
    
26. Parameters:
    * `0 x: I  I; @. x
27.     inX - 数据
    & @" z% n# X$ l2 _' J
28. Returns:
    
29.     sigmoid函数
    
30. """
    
31. def sigmoid(inX):
    6 H1 c1 ~* x% t. [, t) H
32.     return 1.0 / (1 + np.exp(-inX))
    
33. 
    
34. 
    
35. """
    
36. 函数说明:梯度上升算法
    
37. 
    3 {: d2 c6 ~1 c! L: B; T/ l
38. Parameters:
    
39.     dataMatIn - 数据集
    
40.     classLabels - 数据标签
    & {% s/ c4 [% |/ w8 _
41. Returns:
    9 u+ V& K* I& z. l6 L( w; y* x
42.     weights.getA() - 求得的权重数组(最优参数)
    ; w9 R6 q7 c, K$ h1 R" I
43. """
    
44. def gradAscent(dataMatIn, classLabels):
    & F, U: }  C' y) t% W; M
45.     dataMatrix = np.mat(dataMatIn)                                        #转换成numpy的mat
    
46.     labelMat = np.mat(classLabels).transpose()                            #转换成numpy的mat,并进行转置
    7 h) Q6 {7 S- [. R! q0 a- ?. d: a/ b
47.     m, n = np.shape(dataMatrix)                                            #返回dataMatrix的大小。m为行数,n为列数。
    
48.     alpha = 0.001                                                        #移动步长,也就是学习速率,控制更新的幅度。
    - f) o2 C3 ^, G3 k4 n! G8 L
49.     maxCycles = 500                                                        #最大迭代次数
    * ]! z. O' D& k5 M3 F* g
50.     weights = np.ones((n,1))
    ' ]" i9 W; Z3 X: D+ {1 z
51.     for k in range(maxCycles):
    1 \" Y; s7 C. ^) K
52.         h = sigmoid(dataMatrix * weights)                                #梯度上升矢量化公式
    + [9 x9 u) o1 Z/ c
53.         error = labelMat - h
    
54.         weights = weights + alpha * dataMatrix.transpose() * error
    
55.     return weights.getA()                                                #将矩阵转换为数组，返回权重数组
    
56. 
    
57. if __name__ == '__main__':
    
58.     dataMat, labelMat = loadDataSet()           
    0 H2 [  W% h5 f0 g
59.     print(gradAscent(dataMat, labelMat))
    0 v3 N- h/ c$ d" X

复制代码

运行结果

1. [[ 4.12414349]
   
2. [ 0.48007329]
   
3. [-0.6168482 ]]
   " R6 K! n, x4 p: C6 j( @

复制代码

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5