支持向量机分类算法

杨利霞

支持向量机分类算法

! L8 a; t) Y  Y7 Y3 M- a🚀 优质资源分享 🚀
0 v' \- V/ |( o! k$ M学习路线指引（点击解锁）        知识定位        人群定位
🧡 Python实战微信订餐小程序 🧡        进阶级        本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
&#128155ython量化交易实战💛        入门级        手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
/ u( a) B* d% [2 z支持向量机SVM
0 r$ j+ G% \1 `
支持向量机原理

1.寻求最有分类边界
# h1 S6 s' ~8 a& g5 Y
! C) u. y0 Q% p) i) p. n( E  ^正确：对大部分样本可以正确的划分类别
7 b- q- E1 z& }5 }  d! u* ]
  Q3 t7 }( {0 x' {- Q/ j2 d- R泛化：最大化支持向量间距

公平：与支持向量等距

简单：线性、直线或平面，分割超平面

( l! w, z7 b0 y2.基于核函数的生维变换
- P: U8 U4 j3 Y, d& A
通过名为核函数的特征变换，增加新的特征，使得低维度的线性不可分问题变为高维度空间中线性可分问题。
( c5 V1 E/ P2 d2 |9 k; D6 v
0 |; L4 h) z! U一、引论

使用SVM支持向量机一般用于分类，得到低错误率的结果。SVM能够对训练集意外的数据点做出很好的分类决策。那么首先我们应该从数据层面上去看SVM到底是如何做决策的，这里来看这样一串数据集集合在二维平面坐标系上描绘的图：
& B+ V& w" ]5 D/ Z" Q


+ ^. i$ O2 i6 W0 f9 z% w, _现在我们需要考虑，是否能够画出一条直线将圆形点和星星点分开。像first第一张图片来看，圆点和星点就分的很开，很容易就可以在图中画出一条直线将两组数据分开。而看第二张图片，圆点和星点几乎都聚合在一起，要区分的话十分困难。
+ Z7 r% Z$ o4 g9 ?
' h* x0 P# t$ c/ x1 S1 G5 K( d7 |2 V我们要划线将他们区分开来的话，有有无数条可以画，但是我们难以找到一条最好区分度最高的线条将它们几乎完全区分。那么在此我们需要了解两个关于数据集的基本概念：
- \, B# t& N2 w! {+ ^
" V0 Y3 p; r7 ?+ r: |7 f; }二、理论铺垫

线性可分性（linear separability）



  k7 c% F1 r5 I; ]# U/ L而对机器学习来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。
# f! }3 o+ }. C0 B& R
8 T4 \2 x* a! r2 h# t, r

* R: e- `8 i: o* V/ M# }0 _3 b8 j决策边界

SVM是一种优化的分类算法，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。那么这个决策边界就是不同类之间的界限。
  S  ?9 ^1 a, S# K, d/ {( S
* X$ l% F6 d" w  L. o- ]7 R5 M

' h- m0 x3 T5 N0 W" s总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。
% W+ T$ a% b3 J- _; Q
支持向量（support vector）

3 H5 [- l0 e) T( [" G) j5 Y在了解了超平面和决策边界我们发现SVM的核心任务是找到一个超平面作为决策边界。那么满足该条件的决策边界实际上构造了2个平行的超平面作为间隔边界以判别样本的分类：





核方法



- x- u" w3 H. S3 a1 k
# |9 ?! P$ e* t& g" v4 x# F: s
以回避内积的显式计算。
8 P2 N, |, t1 n7 l$ E* F, d) `+ ?
常见的核函数：
% c. \( N* k3 p# `5 [& u  O' e
3 b" I  Z. @8 v  x0 {

" ^3 T+ \( ~& wkernel : {'linear', 'poly', 'rbf', 'sigmoid', 'precomputed'}, default='rbf'
1
当多项式核的阶为1时，其被称为线性核，对应的非线性分类器退化为线性分类器。RBF核也被称为高斯核（Gaussian kernel），其对应的映射函数将样本空间映射至无限维空间。

SMO序列最小优化算法
2 \2 d3 s! T' v9 a

& ~5 N" J, D! V3 X, o: k. D: E



- U2 Z  W+ c9 t3 T# c6 l) J
  @$ V3 |: [; e) ^: d! \. J三、Python sklearn代码实现：
& m* }5 N1 O& P" t. z# j+ a
% ~  Y) }4 ?8 Psklearn.svm.SVC****语法格式为：
6 a9 a& E  W7 q8 y
0 Q. M: v# q2 `  }6 E6 B, v4 iclass sklearn.svm.SVC(  *,
" @8 \8 s+ X! z) h! C+ f C=1.0,
; V2 w6 g! k, ]* m$ y kernel='rbf',
1 R$ a& U" C$ N2 j* Q+ X( w8 { degree=3,
gamma='scale',
9 I. W7 c+ a$ ~& t coef0=0.0,
shrinking=True,
" h! b3 B6 n7 X9 I9 b probability=False,
tol=0.001,
$ H  _/ S6 {1 ^ cache\_size=200,
. p4 v2 z7 A/ A" c' }( }/ R class\_weight=None,
% H4 j, g' ]) r7 O verbose=False,
3 ?( h+ r6 A! P; v; q max\_iter=- 1,
decision\_function\_shape='ovr',
9 d  y0 {$ ~  L; D* i+ f2 f6 b, T3 M break\_ties=False,
random\_state=None)

  {3 Y0 d" K+ @0 d3 Y( P: A3 v1
2
* e1 g" A( [% c' W3 D0 u3
4
5
6
7
8
9
10
11
12
13
( J$ A7 l. z' Y; k, [, }14
) f! ?, r; S0 F, b15
16
基于鸢尾花数据的实现及解释

代码如下：
( P4 ]' K; Y5 y8 @0 o; L
1 # 导入模块
3 D% b8 X; ~+ `" p$ S 2 import numpy as np
3 import matplotlib.pyplot as plt
. G) z2 N/ N# p! X: h" Q 4 from sklearn import svm, datasets
5 from sklearn.model\_selection import train\_test\_split
* o/ T& x! e5 I6 |2 U+ s 6
7 ^" S- X9 D3 C 7 # 鸢尾花数据
8 iris = datasets.load\_iris()         #原始数据
9 feature = iris.data[:, :2] # 为便于绘图仅选择2个特征（根据前两列数据和结果进行分类）
6 t# G/ P) T! a' I) r  [10 target = iris.target
11
% g7 C& X; w4 g) @12 #数组分组训练数据和测试数据
+ C$ `: K1 b5 ^$ s" L/ k13 x\_train,x\_test,y\_train,y\_test=train\_test\_split(feature,target,test\_size=0.2,random\_state=2020)
14
15 # 测试样本（绘制分类区域）,我们数据选了两列即就是两个特征，所以这里有xlist1，xlist2
16 xlist1 = np.linspace(x\_train[:, 0].min(), x\_t
8 N1 N9 g! P" w- `! }5 W————————————————
8 Q# _  ^" {3 n* Y6 ~8 E版权声明：本文为CSDN博主「qq_43479892」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
$ A4 s0 P+ R3 J, w9 i4 s' i8 n& R+ `原文链接：https://blog.csdn.net/qq_43479892/article/details/126811791

$ Y# \9 l  h8 ?* m/ F3 J4 b& s