4 ~- T5 |9 O# T) m" b- N基本步骤: , V# ?. Z. a. q' X# F/ T. V1、同线性规划,找出决策变量;建立目标函数;寻找约束条件。 1 R1 F, g- W" v' t% P2、求解过程中,选定初始点x,构建点x在趋于最优解的搜索方向,以该搜索方向为基础,设定搜索步长,找到下一个迭代点。 : u: g; \! \2 F5 U1 U6 ?) q6 ]3、以新迭代点为初始点,重复进行2步骤。 ! O1 \/ l( ^; T ) E# O9 l- P9 N; {. l: {/ F f W 7 K& a: x4 V: Z文档资料(比较多,稍微看看就好):非线性规划 3 c! P7 G2 w+ H S , h/ c* r8 \' e+ L2 W 8 `& j( o) a& V A' Z2 L+ SPCA主成分分析. b* [7 z) S1 W9 m
应用:降维。 , L6 H1 a" Y* F- z* Y; K! g( n% G* D4 h; @
# T8 F* o* e( N8 U5 m% J# s原理:在损失较少信息的基础上实现降维。周志华西瓜书上提到的最近重构性和最大可分性,实际上是关于协方差与方差的问题。协方差代表维度之间的相关性,方差可以表示维度可以保留的信息。故PCA降维的优化目标为:在N维中选择R维作为“主成分”,这R维之间两两之间协方差尽量小,方差尽量大。 ; I0 y' j5 y/ l8 F V" I5 P7 t& a) z% F" m* b1 H. ^
3 x+ C# c2 P) M" E Q基本步骤:涉及线性代数、矩阵分析。文档资料中有兴趣自行了解。 8 O1 \4 L- n& ?4 g) k+ l 6 {* E$ x# c- |" `5 Z$ o3 p 6 h, R1 Q& z, T, K文档资料: * Q3 f- @ Y$ f4 qPCA理解与基本概念 * S, r. _ |% F' V8 I- k$ iPCA维度的选择* J9 t; e3 [, l
! O' j4 [2 t$ H q6 C
C+ \$ z2 Y" D1 c) u. p6 K# n聚类分析 ( b: e; p- ^; i; \7 B4 M2 ^' o应用:无监督分类。 4 r: W. s$ H% U0 J* Z & d9 k' h5 U1 \0 t8 Y0 _& o- Z/ V" ]! q. l9 W! e
原理:对没有标示性的数据,按照算法,进行簇划分。 : {6 J' {% U1 y; H, l; h/ ?. o5 S4 y9 `4 M! h8 N( X! m1 g
. w9 k* d* }+ m基本步骤:, J+ p) f. h" ?8 D( h8 s+ D
聚类算法分很多类别。最常使用是基于距离和基于密度的聚类方案,具体方案选择结合实际。 ; a, Y8 l' }2 a; K! B+ `在基于距离聚类中比较典型的是k-means聚类,通过多次迭代更新中心点,找到多个中心点(簇的中心)与多个簇,实现:簇内点紧凑,簇间分离程度高。需要设置K(簇数)的值,效率高。 # v5 Y9 F3 O; i$ g m# u基于密度的聚类有DBSCAN和MeanShift(均值漂移)等,主要思路是根据数据点的紧凑程度,将聚合程度较高的数据形成簇。 ' m" s' n1 _1 ^7 W; x* o基于密度的聚类相比于基于距离的聚类,可以找到数据点分布呈不规则形状的簇,效率要差一些,相比之下,基于距离的聚类,同一个簇中各个数据点都不会太偏离中心点,效率高。 8 y( N) d2 H8 |8 x* N+ B( o3 z8 w" u7 q h+ |9 N
0 B* C$ u, \6 r$ {鸢尾花分类的聚类代码,用来辅助学习与理解。 9 b) j: Z7 A Z7 b: u2 s1* C& V; i8 F6 B/ }" H
from sklearn import datasets ' k5 q4 d+ V0 k S- Gfrom sklearn import model_selection) _% C' p% Y P6 M H8 Z; Z
from sklearn.cluster import KMeans! y. h" O! K# e
import matplotlib.pyplot as plt( l2 z* f+ {1 i: [& a) g
: I& M4 v, ?6 J1 F% u+ Y0 k: k6 A% l, p" R2 E
# step1.加载数据 0 m+ G+ d! ~3 S$ E3 h# H0 Oiris = datasets.load_iris() # D: D, k K- t, f) T W# X- s1 H8 q0 c
* U2 |* [8 P5 T* j$ Q* E
# 2.取特征空间中的4个维度 2 }. X; F) M$ bX = iris.data[:,:4] & C! u: U( ` c1 ^, }$ x
o }8 Y! @ U. Q5 g2 z
5 |: y, l- p# B6 C% }- C9 g) _# 3.搭建模型,构造KMeans聚类器& E3 W( b/ J# B- E) y% N( T
estimator = KMeans(n_clusters=3) ( ]) ]; u( P. J3 P$ e% X: e1 t# ?! r t) Z: R0 v W& ~
( m% P/ P3 G Y/ j* d, }#开始聚类训练 6 ~! S2 Y; C1 h% {0 Mestimator.fit(X) ' X1 V6 } Y; z/ t M- S7 g- p* H/ h. O) R1 k
$ E+ g3 y! N6 g7 e) T" o
# 获取聚类标签& Z0 q, j, M$ c7 e' ~$ k
label_pred = estimator.labels_ ) y! M2 ^3 q3 E5 d8 Q9 ]3 G
5 O, B+ y% [9 I; D' m1 O , e1 ]1 U$ D9 a4 o/ H& ^2 Z# 绘制数据分布图(以花萼长度和宽度为展示依据) n9 i+ u- M& V% F
# plt.scatter(X[:, 0], X[:, 1], c="red", marker='o', label='see') 7 @3 U# Q) x j
# print(X[:,0]) 0 O ]: U* U) `; G/ f
# plt.xlabel('calyx length') : U# V' o8 L9 E6 M1 x9 I
# plt.ylabel('calyx width') * `0 g: E- |( ?: Z7 O4 ^
# plt.legend(loc=2) . A' C" J) @5 F+ r5 L# plt.show() # n6 W2 C. d' {5 }, N K15 N" L, F, H& b/ D+ P+ D
2 7 C2 X* a. G% h& D- y. x7 n- k! M34 t6 C! e5 \# _. w( c6 d9 z3 H
4 - V _8 L: ]; b, }58 u. F# i, b. Q/ `
65 b+ Q! [& v ]$ g/ k
7; h5 ~) A8 ~) L! Q$ _" N- D
8/ W& P1 n+ H' R$ v* ~5 T, F
9 8 a7 J0 |9 i) e) N+ R101 V" I. \4 ~3 o
11 / \- P5 C: v8 [" n/ x# i- G12/ l: G1 Z% I9 N4 ?- ^- y: A
13 - \! V9 _2 V3 B- ~. N( M' o14 ' _8 x" E Y0 p15 6 s, l- @: }, E( h2 a16 + z8 d' m5 ?5 n17, F$ D: t& r) D3 E, h
18. z/ I& U3 `' i5 ]1 w4 n/ T
198 V3 s0 T8 ]( D, h
20 ! v Y' w5 j5 z- {2 N8 O1 ^21 @# G% R; Q8 N# B" R5 n! N9 Z q227 j' J: c9 e0 b: R1 G( c) b7 S
23$ b O, H! C1 ]) }! x
24 ' l; }( f4 ?1 ]* U8 I3 T; y z252 L( ]% d/ @" C8 ^
265 |7 K2 M J5 M0 @$ x; ]& b3 o
27 , q) e# {( E$ b4 l( o Y$ k( F% J% x以下为聚类结果图,针对两个维度进行了显示。$ C5 H0 @( Y8 ^& ^! [" D
, R2 q* H0 j" {6 K" C
6 S0 M c6 Z/ S; m7 U4 L% v
* c; j* h0 u5 t' { 4 P. }9 g: U9 Z# K- r9 C多元回归分析' b5 P. t9 k; z$ G5 G. Y
应用:主要用于描述关系或进行预测。: A8 j3 J ]8 Z% }7 \( U8 M
* ^. M( i3 t# S8 { i) h 8 x5 X& q& W/ I1 r0 `: I1 R0 U原理:建立因变量和多个自变量之间的线性或者非线性关系。常见的回归分析是线性回归,在线性回归中因变量y也可以不作为结果,而作为另一个需要得到的结果g(x)的因变量,即:) P; B" }& S: ~; }& J6 d& s. B
,这样的的线性回归称为广义线性回归。 0 v0 ^3 ~( @- S基本步骤:主要分为线性回归和非线性回归。就不总结了大伙自己看看吧。, l! `: N8 U. G) ]
9 H# \% O. b0 z0 ?) S# t
7 m6 |0 B2 r; ^# D2 }
文档资料:挺多的不找了,大部分都是线性回归,非线性回归资料少。0 X' ~. ]1 w% g% x9 R8 a; O* K, l
: w4 V* C' h# T
4 o' n* J' `# m下面两个图分别是线性回归和非线性回归的图。 & J% p) A& O. G5 J) t7 x: B- g0 B! w5 z9 V) W
" ? c9 @% B+ {" i5 B% |. Y- f9 @& S- ~! p
+ Z$ }4 I: e0 @9 x' ^———————————————— # h' j* S9 C* r7 B, n版权声明:本文为CSDN博主「Rulcy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 8 T; r+ ~+ n3 s原文链接:https://blog.csdn.net/weixin_44371912/article/details/106934687# O' }3 i: y" I
/ R, H' J5 n. g- d. G
- R4 v$ i l2 L) l2 T